広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理

概要

論文の詳細を見る
MapReduce のための分散ファイルシステムとして Google File System や HDFS (Hadoop Distributed File System) が使われているが,それらのファイルシステムは特定 API によるストリーミングアクセスを前提とし,POSIX の要件を緩和している.このため MapReduce 以外のプログラムからそれらのファイルシステムを直接使用することが困難であり,MapReduce 処理をするためにそれらのファイルシステムにインポートして,他のプログラムで利用するために結果をエクスポートするなど,コピーが必要なことが多い.この問題を解決するために本研究では HDFS の代わりに POSIX 準拠の API を持った広域分散ファイルシステム Gfarm を使うことを提案し,Gfarm 上で MapReduce 処理を可能にするための Hadoop-Gfarm プラグインを設計し評価する.マイクロベンチマークにおいて,Gfarm は HDFS より約 30% 高い書き込み性能を示し,読み込みはほぼ同程度の性能であった.また,grep,sort などの単純な MapReduce アプリケーションにおいて Gfarm と HDFS は同程度の性能であった.提案手法を使えば性能を低下させることなく,POSIX 準拠の API を使え,無駄なデータの移動やコピーを減らすことができる.
2010-07-27