爆発的に連続発生するデータをリアルタイムに処理するストリーム分析基盤の紹介(モバイルネットワーク,ユビキタスネットワーク,ホームネットワーク,情報家電ネットワーク,及び一般)
スポンサーリンク
概要
- 論文の詳細を見る
ユビキタス社会においてますます増大しつつある、センサ、端末、サーバ等から、連続かつ大量に発生する比較的小さなサイズのデータ(データストリーム)を高速に収集・分析することが可能な技術を紹介します。本技術は、従来のソリューションのように一旦データべースにデータを蓄積して分析するのではなく、大量に連続発生するデータを収集する過程でオンザフライに逐次的に分析することにより、桁違いに高速に処理が可能となります。我々が開発したデータストリーム処理基盤(DSPP)では、1台の汎用PCで1分あたり150万件を超えるデータ処理が可能となりました。我々は、本技術を渋滞情報提供システムに適用することにより、5万台の車両からの位置・速度データを処理して渋滞情報をほぼリアルタイムに提供可能であることを検証しました。本稿では、データストリーム処理基盤および、この基盤上に構築した渋滞情報システムを紹介します。
- 2011-04-14
著者
-
喜田 弘司
NECサービスプラットフォーム研究所
-
中村 暢達
NECサービスプラットフォーム研究所
-
喜田 弘司
NEC サービスプラットフォーム研究所
-
喜田 弘司
日本電気株式会社サービスプラットフォーム研究所
-
中村 暢達
Nec
関連論文
- 2E-3 スレッド分割の適正化による交通情報生成の高速化(ITS,一般セッション,ネットワーク)
- レポート作成過程評価システムの設計
- 耐障害システムのためのデータベース接続層の拡張による柔軟な複製機構(Internet/LAN運用管理技術,ユーザ指向の分散システム/インターネットの運用・管理)
- 自律運用管理に向けた設定情報管理の自動化手法の提案(管理機構)
- 設定パラメータの依存解析によるシステム運用管理支援機構(NW管理)
- D-034 データストリーム処理手法を用いたWebアクセス解析システム(データベース,一般論文)
- D-033 データストリーム処理を高速・省メモリで行うためのスケッチ生成方式(データベース,一般論文)
- 大規模時系列データの省資源監視のための動的ポーリング制御
- 大規模時系列データの省資源監視のための動的ポーリング制御
- データストリーム処理基盤を用いた交通渋滞情報提供システム (ICTでナビゲートする環境にやさしい社会特集) -- (先端環境技術)
- 大規模VM負荷予測・配置制御技術によるシンクライアント・データセンターのグリーン化 (ICTでナビゲートする環境にやさしい社会特集) -- (先端環境技術)
- データストリーム処理による大規模プローブカーシステムの開発と評価
- データストリーム処理による大規模プローブカーシステムの開発と評価(交通における計測・一般)
- データストリーム処理による大規模プローブカーシステムの開発と評価(交通における計測・一般)
- 1E-2 大規模プローブカー情報を処理するための高速リンクマッチング手法(ITS,一般セッション,ネットワーク)
- データストリーム処理基盤を用いた高速プローブ情報収集・分析 (ITS特集) -- (環境)
- クラスタ対応高可用DBトランザクション管理基盤(ストレージ応用技術, SWOPP武雄2005 (2005年並列/分散/協調処理に関する「武雄」サマー・ワークショップ))
- 招待講演 爆発的に連続発生するデータをリアルタイムに処理するストリーム分析基盤の紹介 (情報ネットワーク)
- C-031 DB接続API拡張による異種DB間データ同期複製方式(C分野:アーキテクチャ・ハードウェア)
- LC-001 Javaアプリケーション多重実行におけるデータベースアクセス管理方式(C. アーキテクチャ・ハードウェア)
- A-17-7 洋上管制におけるコンフリクト回避案導出方式の検討(A-17.ITS,一般セッション)
- B-19-16 大規模状況依存サービスのためのユーザ分散方式の提案とその評価(B-19.ネットワークソフトウェア,一般セッション)
- B-20-48 データストリーム処理による混雑度分析の実証実験と評価(B-20.ユビキタス・センサネットワーク,一般セッション)
- B-7-49 分散ストリームPub/Subプラットフォームのサーバ解決方式(B-7.情報ネットワーク,一般セッション)
- B-7-48 分散ストリームPub/Subプラットフォームの提案(B-7.情報ネットワーク,一般セッション)
- スケーラブルなストリームPub/Subプラットフォームの提案と評価(一般,モバイルネットワーク,ユビキタスネットワーク,ホームネットワーク,情報家電ネットワーク,及び一般)
- 爆発的に連続発生するデータをリアルタイムに処理するストリーム分析基盤の紹介(モバイルネットワーク,ユビキタスネットワーク,ホームネットワーク,情報家電ネットワーク,及び一般)
- ネットワークロボットを用いた高齢者活動促進のための行動推薦システムのフィールド実験(クラウドで始まる新たなネットワークロボット)
- M2Mサービスプラットフォームにおける大規模リアルタイム処理技術 (Network of Things特集) -- (M2Mサービスを支えるデバイス及び要素技術)
- ビッグデータをリアルタイムに処理するデータストリーム処理技術
- 実世界から発生するビッグデータをリアルタイムに処理するストリーム分析基盤 (ユビキタス・センサネットワークを支えるシステム開発論文特集)
- スケーラブルな複合イベント処理技術 (特集 ビッグデータとAI)
- ライフログの活用を実現するストリーム処理技術の紹介(情報家電ネットワーク,ホームネットワーク,スマートグリッド,省エネルギ-,M2M,Participatory Sensing,モバイルネットワーク,ユビキタスネットワーク,及び一般)
- スケーラブルな複合イベント処理システムとその評価(品質制御,輻輳制御,信頼性技術,IPTV,コンテンツネットワーク,ネットワークソフトウェア及び一般)