Cassandraによる局所性を考慮した分散並列処理の提案

概要

論文の詳細を見る
近年,大量のデータを高速に処理することが必要な場面が増え,分散 KVS (Key Value Store) と呼ばれる NoSQL 型データベース管理システムが注目され始めた.分散 KVS に格納された大容量データを効率よく活用するには,データの並列処理が必要となるが,分散 KVS から対象データを取り出した後,再度データを分散させて並列処理を行うと,処理効率が悪くなってしまう.そこで本研究では,大規模データを扱う分散 KVS である Apache Cassandra に着目し,大規模データをより高速に処理するための手法を提案する. Cassandra に保存された値に対して任意の処理を行うには,値を取得し,その後処理を行うのが通常である.しかし, Cassandra の読み出し性能があまり高くない上に,取得する値のデータ量が大きくなると通信量が多くなり処理が遅くなることが予想される.そこで本研究では, Cassandra に保存された値に対し任意の処理を効率よく行えるようにするために,まず, UDF と類似した機能を Cassandra に追加する.この機能を利用し,各データノード上でユーザが指定した処理を行い結果のみをクライアントに返す手法を提案する.これにより通信データ量を抑えることができ,また,異なる複数の値に対して並列に処理を実行可能になり,より高速化できる.本稿では提案手法の実装の第一段階として, 1 つの値に対し,任意の処理を行い結果のみを取得する機能を実装し,その特性を評価した.その結果,本提案手法は処理対象の値のサイズが比較的大きい場合には有効であることが示せたと同時に,その一貫性レベルを調整することで処理の高速化が可能であることを確認した.
2012-12-05

Cassandraによる局所性を考慮した分散並列処理の提案

スポンサーリンク

概要

著者

関連論文

スポンサーリンク