分散環境におけるストリーム処理の高信頼化(ストリーム)
スポンサーリンク
概要
- 論文の詳細を見る
センサーデータやログ情報など,時間の経過に伴って変化する情報を提供し続ける,データストリームと呼ばれる情報源が増加し,データストリームに対する問合せ処理の需要が高まっている.現在,そのための基盤環境としてデータストリーム処理エンジンに注目が集まっている.データストリームのアプリケーションには,計算機の故障等による問合せ処理の停止やデータの消失が重大な問題につながるものも多い.そのため,データストリーム処理エンジンには長期に渡って安定したサービスを継続できる高い信頼性が求められる.本研究では,我々の研究グループがこれまで開発を行ってきたデータストリーム処理エンジンStreamSpinnerをベースに,分散環境において信頼性の高い問合せ処理サービスを提供する,持続型データストリーム処理環境を実現する.提案システムでは,信頼性を高めるためのアプローチとして,既存の計算機資源仮想化技術を用いる.StreamSpinnerを仮想マシン上で実行し,定期的に実行状態を保存・配布することにより,そのノードで障害が発生した場合にも,別のノード上で障害発生前の状態から問合せ処理サービスを再開させることが可能である.本稿では提案システムのアーキテクチャについて述べる.
- 社団法人電子情報通信学会の論文
- 2006-07-06
著者
-
渡辺 陽介
東京工業大学学術国際情報センター
-
山田 真一
筑波大学大学院システム情報工学研究科:(現)nttコムウェア株式会社
-
北川 博之
筑波大学システム情報工学研究科
-
渡辺 陽介
科学技術振興機構戦略的創造研究推進事業
-
山田 真一
筑波大学システム情報工学研究科
関連論文
- 分散ストリーム処理システムにおける高信頼化方式の提案(ストリーム処理,情報爆発論文)
- 対象情報源の動的変化を考慮した分散ストリーム処理最適化手法の提案(セッション7b:ストリーム・スカイライン)
- オントロジを利用した異種河川測量データの統合(ポスターセッション,iDBフォーラム2008(招待講演・ポスター英語ディスカッション))
- 大規模映像ストリームのための映像情報統合基盤システムの提案
- グラフ分析を利用した文書集合からの話題構造マイニング(テキストマイニング,データ工学論文)
- 分散ストリーム処理システムにおける高信頼化方式の提案
- 時系列データベースとストリーム処理の統合のためのデータモデルの提案(ストリームデータ1, 夏のデータベースワークショップDBWS2005)
- 時系列データベースとストリーム処理の統合のためのデータモデルの提案(ストリームデータ1, 夏のデータベースワークショップ2005)
- ファイルRMC操作を考慮した関連ファイルの発見
- ファイルRMC操作を考慮した関連ファイルの発見
- テロップ情報による語学番組シーン検索手法の評価
- ユーザ作業を反映する仮想ディレクトリ生成のためのアクセス履歴解析手法
- 対象情報源を動的に選択可能なストリーム処理の実装と評価
- ファイルRMC操作を考慮した関連ファイルの発見
- ユーザ作業を反映する仮想ディレクトリ生成のためのアクセス履歴解析手法
- アクセス履歴に基づくファイル間関連度を用いたデスクトップ情報管理ツールの開発(ウェブ情報とデータベースに関して(ポスター講演))
- 3ZP-4 アクセスログ解析を用いて同一作業で使用されたファイル群を発見する手法の提案(情報爆発時代におけるデータマイニング・アルゴリズム,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 3T-5 ストリーム処理における情報源の動的選択機能(センサデータベースとコンテンツ,学生セッション,データベースとメディア)
- データストリーム管理システムHarmonicaの設計と実装
- ストリーム管理システムにおける永続化要求の妥当性評価(ストリーム,夏のデータベースワークショップDBWS 2006)
- 分散環境におけるストリーム処理の高信頼化(ストリーム,夏のデータベースワークショップDBWS 2006)
- ストリーム管理システムにおける永続化要求の妥当性評価(ストリーム)
- 分散環境におけるストリーム処理の高信頼化(ストリーム)
- 実世界情報ストリームの高度利用のための統合環境
- 6ZN-3 語学番組検索システムにおけるシーン区切り検出手法(情報爆発時代におけるマルチメディア処理,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 構造型P2Pネットワークにおけるキーワードを含むXPathによるXML文書検索(セッション7c:P2P)
- 異種データストリーム統合基盤 : Stream Spinner(ウェブ情報とデータベースに関して(ポスター講演))
- 6ZK-1 分散ストリーム処理管理システムORINOCOの評価(情報爆発時代におけるストリームデータと実世界情報処理,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 分散ストリーム処理環境における持続型問合せ処理方式
- 分散ストリーム処理環境におけるアプリケーション配置最適化手法(夏のデータベースワークショップ2007(データ工学,一般))
- 仮想マシン技術を用いた持続型ストリーム処理環境の評価(夏のデータベースワークショップ2007(データ工学,一般))
- 分散ストリーム処理環境におけるアプリケーション配置最適化手法(ストリーム処理,夏のデータベースワークショップ2007(データ工学,一般))
- 仮想マシン技術を用いた持続型ストリーム処理環境の評価(ストリーム処理,夏のデータベースワークショップ2007(データ工学,一般))
- 6ZN-5 複数講演コンテンツのダイジェスト自動生成のためのシーン重要度算出手法の評価(情報爆発時代におけるマルチメディア処理,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- バイナリーデータに対するXMLビューの実現(XMLデータベース, データ工学論文)
- トピックを考慮した大規模文書情報源からのレコード抽出
- データクリーニングを統合した情報抽出システムの提案(情報抽出2,夏のデータベースワークショップDBWS 2006)
- 6ZC-4 機関リポジトリと外部情報源を連携した関連論文探索手法(情報爆発時代におけるWebパーティカル検索,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 5ZN-7 Wikipediaのセクションを考慮したリンク解析による関連項目検索手法の提案(情報爆発時代におけるWebマイニング,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 4Q-6 センサネットに対するXMLビューの提案(ストリーム・空間検索,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 多重比率規則抽出のためのデータ分析手法(データマイニング, 夏のデータベースワークショップDBWS2005)
- Hidden Web サイトからの新規トピック文書の抽出
- 固有表現を用いたニュース記事分類手法の提案(クラスタリング, 夏のデータベースワークショップDBWS2005)
- 固有表現を用いたニュース記事分類手法の提案(クラスタリング, 夏のデータベースワークショップ2005)
- Fat-Btree, P-tree, SkipGraphを用いた範囲問合せ性能の比較実験
- Fat-Btree, P-tree, SkipGraphを用いた範囲問合せ性能の比較実験
- 関連ファイルの発見におけるファイルRMC操作の考慮
- アクセスログに基づくファイルとWebページの関連性抽出手法
- 到着頻度と関連性を考慮した時系列文書の連続的トピック分析(時系列とコンテンツ)(夏のデータベースワークショップDBWS2004)
- 到着頻度と関連性を考慮した時系列文書の連続的トピック分析(セッション4C : 時系列とコンテンツ)(夏のデータベースワークショップ : DBWS2004)
- RDB上のXSLT実体化ビューのインクリメンタルな更新について(XML 1)(夏のデータベースワークショップDBWS2004)
- RDB上のXSLT実体化ビューのインクリメンタルな更新について(セッション3B : XML1)(夏のデータベースワークショップ : DBWS2004)
- サポートベクターマシンを用いた気圧配置検出手法の提案 : 西高東低冬型を対象として
- 機械学習を用いたテロップ表示意図推定による動画メタデータ生成手法(テーマセッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- 機械学習を用いたテロップ表示意図推定による動画メタデータ生成手法(テーマセッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- 単語の専門性に着目した気象学論文からの専門語抽出(宇宙科学情報解析論文誌 第一号)
- 複数のユーザアカウントを用いたソーシャルブックマークスパムの検出
- 複数のユーザアカウントを用いたソーシャルブックマークスパムの検出
- 低遅延ストリーム処理のための結合演算並列実行方式
- 低遅延ストリーム処理のための結合演算並列実行方式
- ストリームデータ処理における異常検知手法の共有化に関する検討
- EPUBCFIを用いた読書情報管理システムの提案
- AISを用いた複合イベント処理の効率化
- RMC操作に基づくタスクとタスク間関連度を考慮したファイル検索(情報検索,データ工学と情報マネジメント論文)
- 動的タイムワーピング距離を用いたX線天文データの類似検索(宇宙科学情報解析論文誌 第二号)
- トランザクショナルなストリームデータ処理の実現方式(ストリーム処理とI/O,ビックデータ工学及び一般)
- ソーシャルメディアにおけるローカルイベントを用いたユーザ位置推定手法
- 暗号化ストリームデータ処理における効率化の検討(データ処理の効率化,ビッグデータとソーシャルコンピューティング,及び一般)
- BP-3-1 ビッグデータ分析のためのデータ工学基盤研究(BP-3.知的環境を実現するビッグデータ解析と通信行動分析,パネルセッション,ソサイエティ企画)
- AISを用いた複合イベント処理の効率化(一般,フレッシュマンセッション及び一般)
- トランザクショナルなストリームデータ処理の実現方式