合成ベンチマークによるMapReduce処理系SSSの性能評価

概要

論文の詳細を見る
MapReduce プログラムで大容量データを処理する際の実行速度は、Map への入力されるデータ、Reduce から出力されるデータ、さらに Map 処理と Reduce 処理の間でやりとりされる中間データの量と性質によって大きく変化する。特に中間データを蓄積する方法は、処理系によって大きく異なり、システム全体の特性を決定する要因となりうる。われわれは開発中の MapReduce 処理系 SSS の特性を確認するために、先行研究で開発した合成ベンチマークプログラムを用いて、SSS の評価を行い、Hadoop と比較した。合成ベンチマークプログラムは、MapReduce プログラムのデータ入出力部分のみを抽出したもので、パラメータを変更することでさまざまなプログラムの入出力パターンを再現することが可能となっている。評価の結果、以下を確認した。1) SSS は Hadoop と比較して一般に高速に動作する、2) SSS の Map 後の Combine 処理は非常に有用である、3) ベンチマークの設定には改善が必要である。
2011-07-20