アクセス頻度と容量分散を考慮した版管理用データ配置法の実装と評価(データ工学, ディペンダビリティ, 一般)
スポンサーリンク
概要
- 論文の詳細を見る
本稿では, 並列分散ストレージシステム上にファイルバージョン管理に用いるデータを配置する際に, 各ストレージ装置へのアクセス負荷と, データ格納量を同時に均衡化させる方法(COBALT)についての評価を行う.我々が提案しているCOBALTは, ファイルの最新のバージョンと, ファイル更新差分を用いたファイルバージョン管理法を前提とし, ファイルの各バージョンへのアクセス頻度が, 最新のバージョンが高く古いバージョンが低くなることから, アクセスパスとして, ファイルの最新バージョンを管理するためにBtreeを用い, 古い差分情報の管理にはリストを用いる.そして, アクセス頻度に応じた配置決定アルゴリズムに従い各データを配置する.これにより, 従来のBtreeによるアクセスパスを用いる管理方法よりも柔軟な配置が可能となり, ディスク間のアクセス負荷とデータ格納量の偏り除去を両立させることができる.本稿ではCOBALTのアクセス構造と配置アルゴリズムをブレードシステム上に実装し, 実環境においてのCOBALTの偏り制御の効果と性能に与える影響に関する実験結果を報告する.
- 社団法人電子情報通信学会の論文
- 2005-10-10
著者
-
横田 治夫
東京工業大学学術国際情報センター
-
上原 年博
NHK放送技術研究所
-
中野 真那
東京工業大学大学院情報理工学研究科計算工学専攻
-
小林 大
東京工業大学大学院情報理工学研究科計算工学専攻
-
渡邊 明嗣
東京工業大学大学院情報理工学研究科計算工学専攻
-
田口 亮
NHK放送技術研究所
-
田口 亮
日本放送協会放送技術研究所
-
横田 治夫
東京工業大学
-
田口 亮
NHK技研
-
小林 大
東京工業大学:日本学術振興会
-
上原 年博
Nhk放送技術局
-
田口 亮
NHK 放送技術研究所
-
上原 年博
Nhk
関連論文
- 更新処理を考慮したXMLラベルにおける構造情報の抽出手法(構造化文書,XML,情報爆発論文)
- 暗号化データ格納ストレージにおける性能とセキュリティの両立(ストレージ 並列分散データベース,データ工学論文)
- Webサーチを活用したTVテロップ認識率向上手法(一般,膨大なデータから学ぶもの)
- Webサーチを活用したTVテロップ認識率向上手法(一般,膨大なデータから学ぶもの)
- 平文を生成しない分散ストレージ上での再暗号化手法の提案(セッション5c:セキュリティ・プライバシー)
- 講義講演シーン検索におけるレーザポインタ情報の活用法(コンテンツ技術,データ工学論文)
- 1-3. マルチメディアストレージ(1.画像エレクトロニクス,映像情報メディア年報)
- アクセス頻度と容量分散を考慮した版管理用データ配置法の実装と評価(データ工学, ディペンダビリティ, 一般)
- 並列Btree構造における負荷分散処理の並行性制御への影響(高性能システム, 夏のデータベースワークショップDBWS2005)
- 並列Btree構造における負荷分散処理の並行性制御への影響(高性能システム, 夏のデータベースワークショップ2005)
- D-4-11 メタデータによるコンテンツの蓄積, 転送管理の検討(D-4. データ工学, 情報・システム1)
- アベイラビリティの高い分散ストレージ管理ソフトウェアの更新手法(ストレージ技術, データ工学論文)
- 偏り除去手続き並列化の分散ストレージにもたらす効果(システム開発,ストレージ)(データ工学,ディペンダビリティ,一般)
- 負荷分散のためのデータ移動による性能低下を抑制するアクセス回送制御(システム開発,ストレージ)(データ工学,ディペンダビリティ,一般)
- 分散ストレージ上の複製へのアクセス要求配分を取り入れた負荷均衡化手法(ストレージ2)(夏のデータベースワークショップDBWS2004)
- 挿入によって他ラベル変更を起こさない可変長XMLラベルの容量評価(夏のデータベースワークショップ2007(データ工学,一般))
- 挿入によって他ラベル変更を起こさない可変長XMLラベルの容量評価(XML (1),夏のデータベースワークショップ2007(データ工学,一般))
- リサーチマイニング手法におけるクラスタリング閾値設定指針の考察(データマイニング)(夏のデータベースワークショップDBWS2004)
- リサーチマイニング手法におけるクラスタリング閾値設定指針の考察(セッション8B : データマイニング)(夏のデータベースワークショップ : DBWS2004)
- 更新処理を考慮したXMLラベルにおける構造情報の抽出手法
- 音声情報を統合したプレゼンテーションコンテンツ検索(情報検索,データ工学論文)
- 自律分散型ストレージシステムにおける性能および可用性改善の試み(インターネット環境でのデータ工学とディペンダビリティ)
- 並列ストレージにおけるサービス性能を保った負荷均衡化の影響(インターネット環境でのデータ工学とディペンダビリティ)
- Fat-BtreeにおけるB-linkを用いた並行性制御手法(並列型,夏のデータベースワークショップDBWS 2006)
- Fat-BtreeにおけるB-linkを用いた並行性制御手法(並列型)
- アクセス履歴とデータライフサイクル情報を組み合わせたストレージ管理機構(ストレージ)
- 分散データ格納環境のための自律的並列偏り除去手法(ストレージ2)(夏のデータベースワークショップDBWS2004)
- 並列ストレージにおけるデータ再配置による長期的負荷均衡化と短期的応答性能の両立
- Fat-Btreeを用いたPostgreSQL分散化におけるページ分割手法の検討(DE-1インデックス,インターネット環境でのデータ工学とディペンダビリティ,及び一般)
- 性能の異なるディスクが混在する環境でのデータ配置及びディスク配列に関する考察(夏のデータベースワークショップ2007(データ工学,一般))
- 並列B-Tree構造Fat-Btreeを用いたPostgreSQLの分散検索の試み(夏のデータベースワークショップ2007(データ工学,一般))
- 性能の異なるディスクが混在する環境でのデータ配置及びディスク配列に関する考察(データ管理,夏のデータベースワークショップ2007(データ工学,一般))
- 並列B-Tree構造Fat-Btreeを用いたPostgreSQLの分散検索の試み(インデックス,夏のデータベースワークショップ2007(データ工学,一般))
- アクセスログに基づくWebページ推薦におけるLCSの利用とその解析(情報融合)
- COBALT : バージョン管理を行う並列分散ストレージシステムにおけるアクセス負荷と記憶空間利用率の同時均衡化手法(ストレージ技術,データ工学論文)
- アクセス履歴とデータライフサイクル情報を組み合わせたストレージ管理機構(ストレージ,夏のデータベースワークショップDBWS 2006)
- WebアクセスログのLCSを用いたWebページの推薦手法(履歴応用,夏のデータベースワークショップDBWS 2006)
- WebアクセスログのLCSを用いたWebページの推薦手法(履歴応用)
- 分散ストレージにおける情報ライフサイクルの効率的管理(ストレージ2)(夏のデータベースワークショップDBWS2004)
- 分散ストレージ上の複製へのアクセス要求配分を取り入れた負荷均衡化手法(セッション7C : ストレージ2)(夏のデータベースワークショップ : DBWS2004)
- 分散データ格納環境のための自律的並列偏り除去手法(セッション7C : ストレージ2)(夏のデータベースワークショップ : DBWS2004)
- 分散ストレージにおける情報ライフサイクルの効率的管理(セッション7C : ストレージ2)(夏のデータベースワークショップ : DBWS2004)
- 仮想ノードを用いた自律ディスクシステム更新の高可用化(インターネット環境でのデータ工学とディペンダビィリティ及び一般)
- 挿入制限のないXML範囲ラベリング用コード(セッション1B : XML基礎技術)
- 挿入制限のないXML範囲ラベリング用コード(XML基礎技術)(「夏のデータベースワークショップ(DBWS2003)」一般)
- 自律分散型ストレージシステムにおける性能および可用性改善の試み(インターネット環境でのデータ工学とディペンダビリティ)
- 並列ストレージにおけるサービス性能を保った負荷均衡化の影響(インターネット環境でのデータ工学とディペンダビリティ)
- アクセス頻度と容量分散を考慮した版管理用データ配置法の実装と評価(データ工学, ディペンダビリティ, 一般)
- 偏り除去手続き並列化の分散ストレージにもたらす効果(システム開発,ストレージ)(データ工学,ディペンダビリティ,一般)
- 負荷分散のためのデータ移動による性能低下を抑制するアクセス回送制御(システム開発,ストレージ)(データ工学,ディペンダビリティ,一般)
- 仮想ノードを用いた自律ディスクシステム更新の高可用化(インターネット環境でのデータ工学とディペンダビィリティ及び一般)
- 半導体ディスクを用いた自律ディスクの階層化(セッション2B : 分散処理とストレージ)
- 半導体ディスクを用いた自律ディスクの階層化(分散処理とストレージ)(「夏のデータベースワークショップ(DBWS2003)」一般)
- C-7-9 放送局に向けた自律ストレージシステムの基本機能検討
- ファイル検索におけるアクセスログから抽出した関連度の利用(夏のデータベースワークショップ2007(データ工学,一般))
- ファイル検索におけるアクセスログから抽出した関連度の利用(情報抽出,夏のデータベースワークショップ2007(データ工学,一般))
- 耐故障バッファリングディスクシステムの性能評価
- 講義・講演シーン検索におけるスライドおよび音声中の検索語出現状況に基づくレーザーポインタ情報のフィルタリング(e-Learning,夏のデータベースワークショップDBWS 2006)
- 講義・講演シーン検索におけるスライドおよび音声中の検索語出現状況に基づくレーザーポインタ情報のフィルタリング
- 講義・講演シーン検索におけるスライドおよび音声中の検索語出現状況に基づくレーザーポインタ情報のフィルタリング(e-Learning)
- Fat-Btreeを用いたPostgreSQL分散化におけるページ分割手法の検討(DE-1インデックス,インターネット環境でのデータ工学とディペンダビリティ,及び一般)
- マルチメディアストレージ(画像エレクトロニクス,映像情報メディア年報)
- ストレージシステムにおける省電力効果検証のためのシミュレータ
- ストレージシステムにおける省電力効果検証のためのシミュレータ
- DE2000-86 分散独立アクティブデータベース上でのワークフロー用トランザクションモデル
- クラスタ化ディスクのルール記述による柔軟な非同期バックアップと障害回復
- D-10-1 データレプリケーションの分散制御
- 制御情報を分散したデータレプリケーション方式
- ファイルRMC操作を考慮した関連ファイルの発見
- ファイルRMC操作を考慮した関連ファイルの発見
- Valuable LCA探索に用いる索引のデータサイズの削減
- Valuable LCA探索に用いる索引のデータサイズの削減
- テロップ情報による語学番組シーン検索手法の評価
- ユーザ作業を反映する仮想ディレクトリ生成のためのアクセス履歴解析手法
- ファイルRMC操作を考慮した関連ファイルの発見
- ストレージシステムにおける省電力効果検証のためのシミュレータ
- Valuable LCA 探索に用いる索引のデータサイズの削減
- ユーザ作業を反映する仮想ディレクトリ生成のためのアクセス履歴解析手法
- アクセス履歴に基づくファイル間関連度を用いたデスクトップ情報管理ツールの開発(ウェブ情報とデータベースに関して(ポスター講演))
- 文字認識技術を利用した講義動画のスライド同定(画像・映像処理)
- 講義ビデオ中のレーザーポインタ抽出の一検討(文字とドキュメントの認識・理解)
- 講義ビデオ中のレーザーポインタ抽出の一検討(文字とドキュメントの認識・理解)
- e-ラーニング向け講演ビデオ複合コンテンツの作成支援 : 動画とスライドの対応付けとポインティング情報抽出(INFOSTAシンポジウム2003一般発表)(INFOSTAシンポジウム2003)
- D-12-69 講義動画中のスライド同定を利用したレーザーポインタの同期表示
- 講義講演シーン検索における音声データの利用(eラーニング1, 夏のデータベースワークショップDBWS2005)
- 講義講演シーン検索における音声データの利用(eラーニング1, 夏のデータベースワークショップ2005)
- スーパーインポーズドコーディングを用いたXML文書キーワード索引手法(XML,夏のデータベースワークショップDBWS 2006)
- スーパーインポーズドコーディングを用いたXML文書キーワード索引手法(XML)
- 3ZP-4 アクセスログ解析を用いて同一作業で使用されたファイル群を発見する手法の提案(情報爆発時代におけるデータマイニング・アルゴリズム,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- OXTHAS : Webサービスベースのワークフロー管理における障害を考慮した負荷分散手法(データ工学研究専門委員会推薦論文,コンテンツ技術,Web情報システム)
- 5ZK-9 キーワード非含有ファイルを検索可能とするファイル間関連度を用いた検索手法(情報爆発時代におけるマルチメディアデータと位置依存情報処理,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 多様な観点からのビューを提供する順序型付き多重連想コンテナ(クエリ,夏のデータベースワークショップDBWS 2006)
- 多様な観点からのビューを提供する順序型付き多重連想コンテナ(クエリ)
- 多様な観点からのビューを提供する順序型付き多重連想コンテナ
- 5ZP-1 プライマリ・バックアップ構成を有効利用したストレージシステムの省電力効果見積(情報爆発時代におけるストレージ管理,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 6ZN-3 語学番組検索システムにおけるシーン区切り検出手法(情報爆発時代におけるマルチメディア処理,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 講義音声認識における講義スライド情報の利用(第8回音声言語シンポジウム)
- 6ZN-5 複数講演コンテンツのダイジェスト自動生成のためのシーン重要度算出手法の評価(情報爆発時代におけるマルチメディア処理,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 機能追加によるストレージの高付加価値化のアプローチ
- 機能追加によるストレージの高付加価値化のアプローチ(磁気記録とその展開)