広域ファイルシステムHGFSのための分散メタデータサーバの実装と性能評価
スポンサーリンク
概要
- 論文の詳細を見る
広域環境下の複数の組織間で,大容量のデータを効率よく共有が年々増加している.地理的に分散した PC クラスタ間でデータを効率的に共有するためには,広域ファイルシステムが有用であるが,高遅延通信路の影響により,ファイルシステムのメタデータ操作がシステムのボトルネックになるという問題がある.本稿では,広域環境下での効率的な大規模データ処理を目的とした,広域ファイルシステム HGFS を提案し,2-level Consistency と,Soft Client-centric Consistency という 2 種類のファイルシステムセマンティクスについて述べる.HGFS の分散メタデータサーバである HGMDS の実装を行い,広域分散計算機環境である InTrigger を利用し性能評価を行った結果,クライアントリクエスト応答時間は書き込みが 145μsec,読み込みが 107μsec であった.また,複数拠点を利用した,HGMDS のリクエスト処理性能の評価を行い,HGMDS が広域環境においても高いスループットであることを確認した.
- 2010-07-27
著者
関連論文
- 大規模P2Pグリッドでの大容量コンピューティングのためのスケーラブルなプログラミング環境の検討(HPC-7 : 分散環境(1))
- 3X-6 コード進行モデルを用いた楽曲のコード認識の検討(音楽情報科学(2)自動作曲・楽曲分析,学生セッション,人工知能と認知科学)
- 並列ファイル転送のためのスケジューリングアルゴリズム(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- グリッドデータファームによる太陽地球系物理分野における分散データ型データインテンシブ処理モデルの構築と評価
- 広域ファイルシステムにおける分散メタデータサーバの検討(並列/分散アーキテクチャ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- T2K筑波システムにおけるLinpack性能評価(HPC-4:性能評価,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- UDPによるファイアウォール越えを用いたP2Pオーバーレイネットワーク(HPC-7 : 分散環境(1))
- 3ZL-4 仮想IPアドレスを用いたプライベートネットワーク内のノードへの透過的アクセス(情報爆発時代における安全,安心ネットワーク技術,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- プライベートネットワーク内のノードをサーバとして外部に公開するための機構(HPC-15 : ネットワーク)
- 遠隔ファイルアクセスにおけるアクセスパターンと遅延の影響
- 遠隔ファイルアクセスにおけるアクセスパターンと遅延の影響
- PCクラスタ間ファイル複製スケジューリング
- クラウドにおける高性能ファイルサービスの検討
- 広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理
- 広域ファイルシステムHGFSのための分散メタデータサーバの実装と性能評価
- 広域ファイルシステムにおける分散メタデータサーバの検討(並列/分散アーキテクチャ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 広域分散ファイルシステムGfarmのMPI-IOの実装と評価
- マルチグリッド環境における効率的な監視システムに関する研究
- 広域分散ファイルシステム Gfarm 上での MapReduce を用いた大規模分散データ処理
- Grid RPCにおける広域データ管理レイヤの利用(グリッド)
- 1ZC-2 クラウドコンピューティングにおける高性能ファイルシステムの検討(クラウドコンピューティング,学生セッション,ネットワーク,情報処理学会創立50周年記念)
- e-サイエンス推進のための広域分散ファイルシステムの適用と評価
- 2L-2 MapReduceにおけるファイルシステムの性能評価(並列システムソフトウェア,学生セッション,アーキテクチャ,情報処理学会創立50周年記念)
- クラスタ間高速ファイル転送方式の提案と評価
- 並列ファイル転送のためのスケジューリングアルゴリズム(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 広域分散ファイルシステムGfarm v2の実装と評価(グリッドI)
- 広域ファイルシステムのための分散メタデータサーバの設計
- 広域分散ファイルシステムGfarmのMPI-IOの実装
- リソースネームスペース管理サービスの負荷分散手法の提案(HPC-6:グリッド,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 6ZJ-4 リソースネームスペース管理サービスの実装(情報爆発時代における並列分散処理技術,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 広域ファイルシステムにおける分散メタデータサーバの検討 (計算機アーキテクチャ・ハイパフォーマンスコンピューティング・「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 広域分散環境を提供するHPCIシステムソフトウェア基盤の設計概要と共有ストレージ構築
- 分散ファイルシステムの性能監視とボトルネック特定
- 分散ファイルシステムにおけるメタデータサーバの冗長化手法の検討
- Cephのメタデータサーバの冗長性の調査