大規模データ処理のための分散システムの実装とその応用(オーバレイネットワーク,<特集>インターネット技術とその応用論文)
スポンサーリンク
概要
- 論文の詳細を見る
インターネットサービスプロバイダ(ISP)は,自社のバックボーンネットワークを安定して運用するため,膨大な量のトラヒックデータを収集し解析している.IIJはこのような大規模データセットを扱うための技術基盤の一つとして"ddd"と呼ばれる分散システムを独自に開発/実装した.dddは,単一障害点をもたず一部のノードが故障しても全体は動き続ける,後から動的にノードを拡張して大量のデータを保持できる,大規模のデータ処理を複数のノードで効率的に並列分散処理する,などの特徴をもつシステムである.本論文では,このdddの開発にあたって利用した,P2P,分散キーバリューストア,MapReduceといった各種技術について述べるとともに,その有効性について説明する.
- 2010-07-01