PrefixSpan法のMapReduce実装の改良(ソフトウェア最適化,クラウド、ネットワーク及び一般)

スポンサーリンク

概要

論文の詳細を見る
分散キーバリューストアをベースとし、Owner Computeルールで計算を実行することで、高速な繰り返し処理を可能とするMapReduce処理系SSSを開発している。このSSSの評価の一つとして、PrefixSpan法による系列パターン抽出を実世界アプリケーションとして利用して来た。しかし、既存の手法では大規模なデータに対しては十分な絶対性能が得られていなかった。本稿ではPrefixSpanをMapReduceで実装するための新たな手法を提案する。提案手法ではデータの流れを見直すことによって、これまでReduceで行なっていた処理を、Mapに移すことによって大幅な速度の向上を得た。具体的には4Mのソースコードのデータに対してSSSで約60倍、Hadoopで約3倍の高速化を実現した。
2012-10-05

著者

関連論文

もっと見る

スポンサーリンク