低遅延ストリーム処理のための結合演算並列実行方式

概要

論文の詳細を見る
ストリームデータの増加に共に伴い,ストリームデータに対する問合せ処理が重要となってきている.情報源の種類も多様化し,複数の情報源から到着するストリームデータ同士の統合処理は特に需要が高くなっている.ストリームの統合を実現する演算はウインドウ結合と呼ばれており,時間幅や列数で定義されたスライディングウインドウにより処理対象を最新のデータに限定した結合処理を行う.結合処理を高速に実行するための既存のアプローチとして,分散環境を用いた処理の並列化が提案されており,スループットの改善が行われている.しかし,処理遅延の改善に関しては,分散環境がネットワーク遅延の影響を受けやすいということもあって,これまであまり考慮されてこなかった.本研究では,分散環境の代わりにマルチコア環境を用いて,複数ストリームに対するウインドウ結合演算の処理遅延を改善するような並列化方式を提案する.現在,N 個のストリームに対する結合を実現する方式は,2 入力の結合演算をツリー状に多段接続するものと,N 入力の結合演算を用いるものの 2 種類に大別される.本研究は,両方の方式に対応する並列結合ツリー方式と並列 MJoin 方式の 2 つを提案する.並列結合ツリー方式では,N 個の入力ストリームに対し,それぞれのストリームの出力を最速で出力することに特化したプランを N 個導出し,それらを N 並列に走らせるというものである.並列 MJoin 方式は,既存の MJoin のアルゴリズムがシーケンシャルに行っていたプローブ処理を N 並列化したものである.本研究では,提案手法 2 つとオリジナルの方式 2 つについて,評価実験を行いそれぞれの性能の比較を行う.
2012-07-25

低遅延ストリーム処理のための結合演算並列実行方式

スポンサーリンク

概要

著者

関連論文

スポンサーリンク