クラスタ間高速ファイル転送方式の提案と評価

スポンサーリンク

概要

• 論文の詳細を見る

• ネットワークの広帯域化に伴い広域環境における大規模データ共有が現実のものとなってきた.一方で,大規模データ処理のために PC クラスタのそれぞれのローカルディスクが用いられるようになった.その結果,多数のローカルディスク間の効率的な並列ファイル転送が必要となっている.本研究では,並列ファイル転送を効率的に行うためのスケジューリング手法を提案する.ファイル複製の適切な選択,送信元クラスタ内での動的な複製作成により効率的な並列ファイル転送を可能とする.提案手法を実際の広域ネットワーク環境で評価した結果,1 ノードに偏って格納されている 50 GB のデータを 17 分 21 秒で転送することができた.これは同一の環境で 1 ノード対 1 ノードでファイル転送を行った場合の 86.1% の転送時間である.このとき,平均スループット 49.0 MB/sec,最高スループット 380 MB/sec の性能であった.

• 一般社団法人情報処理学会の論文
• 2009-07-28

著者

• 建部 修見

  筑波大学大学院システム情報工学研究科

• 鈴木 克典

  筑波大学第三学群情報学類

• 鈴木 克典

  筑波大学大学院システム情報工学研究科

• 鈴木 克典

  筑波大学システム情報工学研究科

• 建部 修見

  筑波大学システム情報工学研究科

関連論文

• 大規模P2Pグリッドでの大容量コンピューティングのためのスケーラブルなプログラミング環境の検討(HPC-7 : 分散環境(1))
• 並列ファイル転送のためのスケジューリングアルゴリズム(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
• 並列ファイル転送のためのスケジューリングアルゴリズム (計算機アーキテクチャ・ハイパフォーマンスコンピューティング・「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
• グリッドデータファームによる太陽地球系物理分野における分散データ型データインテンシブ処理モデルの構築と評価
• 広域ファイルシステムにおける分散メタデータサーバの検討(並列/分散アーキテクチャ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
• T2K筑波システムにおけるLinpack性能評価(HPC-4:性能評価,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
• UDPによるファイアウォール越えを用いたP2Pオーバーレイネットワーク(HPC-7 : 分散環境(1))
• 3ZL-4 仮想IPアドレスを用いたプライベートネットワーク内のノードへの透過的アクセス(情報爆発時代における安全,安心ネットワーク技術,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
• プライベートネットワーク内のノードをサーバとして外部に公開するための機構(HPC-15 : ネットワーク)
• 遠隔ファイルアクセスにおけるアクセスパターンと遅延の影響
• 遠隔ファイルアクセスにおけるアクセスパターンと遅延の影響
• PCクラスタ間ファイル複製スケジューリング
• クラウドにおける高性能ファイルサービスの検討
• 広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理
• 広域ファイルシステムHGFSのための分散メタデータサーバの実装と性能評価
• 広域ファイルシステムにおける分散メタデータサーバの検討(並列/分散アーキテクチャ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
• 広域分散ファイルシステムGfarmのMPI-IOの実装と評価
• マルチグリッド環境における効率的な監視システムに関する研究
• 広域分散ファイルシステム Gfarm 上での MapReduce を用いた大規模分散データ処理
• Grid RPCにおける広域データ管理レイヤの利用(グリッド)
• 1ZC-2 クラウドコンピューティングにおける高性能ファイルシステムの検討(クラウドコンピューティング,学生セッション,ネットワーク,情報処理学会創立50周年記念)
• e-サイエンス推進のための広域分散ファイルシステムの適用と評価
• 2L-2 MapReduceにおけるファイルシステムの性能評価(並列システムソフトウェア,学生セッション,アーキテクチャ,情報処理学会創立50周年記念)
• クラスタ間高速ファイル転送方式の提案と評価
• 並列ファイル転送のためのスケジューリングアルゴリズム(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
• 広域分散ファイルシステムGfarm v2の実装と評価(グリッドI)
• 広域ファイルシステムのための分散メタデータサーバの設計
• 広域分散ファイルシステムGfarmのMPI-IOの実装
• リソースネームスペース管理サービスの負荷分散手法の提案(HPC-6:グリッド,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
• 6ZJ-4 リソースネームスペース管理サービスの実装(情報爆発時代における並列分散処理技術,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
• 広域分散環境を提供するHPCIシステムソフトウェア基盤の設計概要と共有ストレージ構築
• 分散ファイルシステムの性能監視とボトルネック特定
• Cephのメタデータサーバの冗長性の調査
• 高速なストレージにおけるファイルシステムの調査と検討

もっと見る 閉じる

スポンサーリンク