MapReduce処理系SSSに向けたKVSの改良(ディペンダブルコンピューティングシステム及び一般)

概要

論文の詳細を見る
広く用いられているHadoopと比較して、より広い範囲に適用可能なMapReduce処理系SSSを開発している。SSSはオープンソースのキーバリューストア(KVS)であるTokyo CabinetとそのネットワークインターフェイスであるTokyoTyralltをストレージとして用いる。しかし、SSSのアクセスパターンはバルクでの読み出し、書き込み、削除が主で、Tokyo Tyrantが本来想定している細粒度のアクセスとはかけ離れており、Tokyo Tyrantが用意するAPIを利用するだけでは、Tokyo Cabinet/Tokyo Tyrant本来の性能を引き出すことが出来なかった。本稿ではわれわれが行った、Tokyo Cabinetに対する改変について報告する。SSSが行う範囲指定処理をTokyo CabinetおよびTokyo Tyrantに追加し、さらに内部でのロックを最適化した。その結果、Tokyo Cabinetを直接用いるマイクロベンチマークで、読み込み時5倍書き込み時2倍の速度向上を確認した。また、SSS全体としてのマクロベンチマークでも読み込み時3倍、書き込み時で1.3倍の速度向上を確認した。
2012-04-03