PJoin: MapReduceにおける高速ジョイン処理
スポンサーリンク
概要
- 論文の詳細を見る
MapReduceは分散処理フレームワークとして分析応用において広く利用されつつある.OLAPは分析応用の典型例の1つであり,OLAP分析ではスタースキーマによる多テーブルジョインが多く利用される特徴がある.しかし,MapReduceによるジョイン処理では,ジョイン対象となるテーブルをシャッフルにより通信しなければならずコストが大きいという問題があった.本論文では,MapReduceにおける高速ジョイン処理PJoinを提案する.PJoinの特徴は,ディメンジョンテーブルごとにジョイン対象となるテーブルの主キーと外部キーのペアを射影した実体化ビューを構築し,テーブルを主キーで分散配置し実体化ビューを外部キーで分散配置することで,mapタスクにおいてファクトテーブルとディメンションテーブル間の多テーブルのsemi-joinを実行することにある.TPC-Hのベンチマークによって評価した結果,PJoinにより応答性能が平均的に33.9%向上し,シャッフルによる通信量は62.6%削減できたことを確認した.
- 2013-06-28
著者
関連論文
- PJoin: MapReduceにおける高速ジョイン処理
- ソーシャルサーチのための効率的な検索アルゴリズムの提案
- 集約処理を用いたMapReduce最適化手法の提案と実装
- 3 震災時におけるソーシャルサーチの活用に関する分析(III-4 災害情,セッションIII,自由報告)
- 時々刻々と成長するグラフのための直径モニタリング
- 高信頼化と高性能化を実現するデータベースクラスタの提案と評価(ディペンダビリティ,並列/分散/協調とディペンダブルコンピューティング及び一般)