Jubatus : Big Dataのリアルタイム処理を可能にする分散処理技術(オーバーレイネットワーク,P2Pネットワーク,自律分散制御及び一般)

概要

論文の詳細を見る
Hadoopの登場により、安価なハードウェアを用いて大規模なデータに対する高度な分析手段が普及しつつあり、その分析の精度および速度がビジネスの成否を分けるようになってきた。すなわち、大規模かつ高度な分析をリアルタイム化することが重要となる。そこで我々は大規模かつ高度なリアルタイム分析のための分散機械学習フレームワークJubatusをPFI社と共同開発した。Jubatusのゴールは、(a)オンライン機械学習アルゴリズムなどの分析処理をスケールアウトするように分散処理できること、(b)これらの分散処理をアルゴリズム間で共通化すること、(c)これらの分析処理を容易に試行錯誤しながら利用できるようにすること、の3点である。我々は(a)に関してJubatusに高度な分析をスケールアウトさせるための仕組みとして一貫性要件を緩和したmixというデータの同期機構を組み込み、そのスケールアウト性を確認した。本稿ではmixの特徴について解説し、一貫性要件の緩和の程度について検証する。
2012-01-19