対象情報源の動的変化を考慮した分散ストリーム処理最適化手法の提案(セッション7b:ストリーム・スカイライン)
スポンサーリンク
概要
- 論文の詳細を見る
近年、情報源から連続して配信されるストリームデータに対する処理要求が増加しており、これら処理要求を効率的に処理するためのストリーム処理エンジンが注目を集めている。ストリーム処理エンジンでは利用者からの問合せ中に明記された対象情報源からのストリームデータが到着する度に連続して問合せ処理結果を生成する。これまで我々は、同じ問合せ中で利用者の興味のある対象情報源を動的に選択可能な枠組みをストリーム処理エンジンに追加した。さらに多くの利用者の要求に応じるために、本研究では各ストリーム処理エンジンで問合せ処理を分散して行う分散ストリーム処理を考える。利用者の興味のある情報源が変わると、情報源から利用者へのデータ転送経路が変わるため、それに合わせて分散環境中の各ストリーム処理エンジンが行う処理の配置を動的に組み替えていかなければならない。本稿では、対象情報源の変化を考慮した分散ストリーム処理における最適化手法を提案する。最適化手法では利用者の興味に合わせた最適なデータ転送経路および処理の配置を繰り返し計算する。また、最適化処理を行う中央管理システムのアーキテクチャについても述べる。
- 2008-09-14
著者
-
渡辺 陽介
東京工業大学学術国際情報センター
-
北川 博之
筑波大学システム情報工学研究科
-
天笠 俊之
筑波大学システム情報工学研究科
-
大喜 恒甫
筑波大学システム情報工学研究科
-
川島 英之
筑波大学システム情報工学研究科
-
大喜 恒甫
筑波大学大学院システム情報工学研究科
-
渡辺 陽介
東京工業大学 学術国際情報センター
-
天笠 後之
筑波大学大学院システム情報工学研究科
-
天笠 俊之
筑波大学システム情報系 : 宇宙航空研究開発機構宇宙科学研究所
-
渡辺 陽介
東京工業大学
関連論文
- 分散ストリーム処理システムにおける高信頼化方式の提案(ストリーム処理,情報爆発論文)
- 第13回 The 15th International Conference on Database Systems for Advanced Applications(DASFAA2010)("I"見聞録)
- 2 センシングデータ処理基盤技術 : ストリームデータ処理(センシングネットワーク)
- レコードデータに対するリッジ問合せ(セッション7b:ストリーム・スカイライン)
- 対象情報源の動的変化を考慮した分散ストリーム処理最適化手法の提案(セッション7b:ストリーム・スカイライン)
- オントロジを利用した異種河川測量データの統合(ポスターセッション,iDBフォーラム2008(招待講演・ポスター英語ディスカッション))
- 大規模映像ストリームのための映像情報統合基盤システムの提案
- グラフ分析を利用した文書集合からの話題構造マイニング(テキストマイニング,データ工学論文)
- 分散ストリーム処理システムにおける高信頼化方式の提案
- 時系列データベースとストリーム処理の統合のためのデータモデルの提案(ストリームデータ1, 夏のデータベースワークショップDBWS2005)
- 時系列データベースとストリーム処理の統合のためのデータモデルの提案(ストリームデータ1, 夏のデータベースワークショップ2005)
- 異種XMLデータに対するファセット検索手法の提案
- ファイルRMC操作を考慮した関連ファイルの発見
- ファイルRMC操作を考慮した関連ファイルの発見
- テロップ情報による語学番組シーン検索手法の評価
- ユーザ作業を反映する仮想ディレクトリ生成のためのアクセス履歴解析手法
- 対象情報源を動的に選択可能なストリーム処理の実装と評価
- ファイルRMC操作を考慮した関連ファイルの発見
- ユーザ作業を反映する仮想ディレクトリ生成のためのアクセス履歴解析手法
- アクセス履歴に基づくファイル間関連度を用いたデスクトップ情報管理ツールの開発(ウェブ情報とデータベースに関して(ポスター講演))
- 1S-8 グラフ構造に基づくソーシャルブックマークにおけるスパマー検出(ソーシャルWeb,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 2Q-8 アソシエーション抽出を用いたWeb情報の統合方式(可視化・Web情報統合,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 1S-6 マイクロブログにおけるコミュニティの抽出と分析(ソーシャルWeb,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 3ZP-4 アクセスログ解析を用いて同一作業で使用されたファイル群を発見する手法の提案(情報爆発時代におけるデータマイニング・アルゴリズム,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 6S-3 注釈によるトレーサビリティ機能を持つXQuery処理系の実装(XML・グラフデータベース,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 3T-5 ストリーム処理における情報源の動的選択機能(センサデータベースとコンテンツ,学生セッション,データベースとメディア)
- 6R-7 Efficient Privacy Preserving Query Processing using GPGPU
- データストリーム管理システムHarmonicaの設計と実装
- ストリーム管理システムにおける永続化要求の妥当性評価(ストリーム,夏のデータベースワークショップDBWS 2006)
- 分散環境におけるストリーム処理の高信頼化(ストリーム,夏のデータベースワークショップDBWS 2006)
- ストリーム管理システムにおける永続化要求の妥当性評価(ストリーム)
- 分散環境におけるストリーム処理の高信頼化(ストリーム)
- 実世界情報ストリームの高度利用のための統合環境
- 6ZN-3 語学番組検索システムにおけるシーン区切り検出手法(情報爆発時代におけるマルチメディア処理,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 構造型P2Pネットワークにおけるキーワードを含むXPathによるXML文書検索(セッション7c:P2P)
- ASTER衛星画像とWebコンテンツを用いた新築建造物の検出(画像/三次元データ,e-Science及びData Intensive Science)
- 構造型P2Pネットワークにおけるキーワードを含むXPathによるXML文書検索
- 3R-3 リンク構造解析によるTwitterユーザのランキング手法(Web応用,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 異種データストリーム統合基盤 : Stream Spinner(ウェブ情報とデータベースに関して(ポスター講演))
- 6ZK-1 分散ストリーム処理管理システムORINOCOの評価(情報爆発時代におけるストリームデータと実世界情報処理,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 分散ストリーム処理環境における持続型問合せ処理方式
- 分散ストリーム処理環境におけるアプリケーション配置最適化手法(夏のデータベースワークショップ2007(データ工学,一般))
- 仮想マシン技術を用いた持続型ストリーム処理環境の評価(夏のデータベースワークショップ2007(データ工学,一般))
- 分散ストリーム処理環境におけるアプリケーション配置最適化手法(ストリーム処理,夏のデータベースワークショップ2007(データ工学,一般))
- 仮想マシン技術を用いた持続型ストリーム処理環境の評価(ストリーム処理,夏のデータベースワークショップ2007(データ工学,一般))
- 2S-2 不確定性を有するデータ集合に対する外れ値検出(マイニング・地理情報,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 6ZN-5 複数講演コンテンツのダイジェスト自動生成のためのシーン重要度算出手法の評価(情報爆発時代におけるマルチメディア処理,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- バイナリーデータに対するXMLビューの実現(XMLデータベース, データ工学論文)
- トピックを考慮した大規模文書情報源からのレコード抽出
- データクリーニングを統合した情報抽出システムの提案(情報抽出2,夏のデータベースワークショップDBWS 2006)
- 6ZC-4 機関リポジトリと外部情報源を連携した関連論文探索手法(情報爆発時代におけるWebパーティカル検索,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 3J-1 流域水循環シミュレーションシステムと河川・流域データベースの連携(社会への応用,一般セッション,コンピュータと人間社会,情報処理学会創立50周年記念)
- データストリーム処理における適応的な来歴保存方式(テーマセッション,「ユビキタス,センサ環境におけるデータベース」,及び一般)
- ストリーム処理における来歴データ永続化の投機的実行方式
- 5ZN-7 Wikipediaのセクションを考慮したリンク解析による関連項目検索手法の提案(情報爆発時代におけるWebマイニング,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 6ZC-6 属性の共起関係に着目したWWWからの効率的なXMLデータ抽出(情報爆発時代におけるWebパーティカル検索,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 6ZC-5 異種XMLデータに対するファセット検索システムの性能評価(情報爆発時代におけるWebパーティカル検索,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 6S-1 On Finding Functional Dependencies in XML Data
- 4Q-6 センサネットに対するXMLビューの提案(ストリーム・空間検索,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 多重比率規則抽出のためのデータ分析手法(データマイニング, 夏のデータベースワークショップDBWS2005)
- Hidden Web サイトからの新規トピック文書の抽出
- 固有表現を用いたニュース記事分類手法の提案(クラスタリング, 夏のデータベースワークショップDBWS2005)
- 固有表現を用いたニュース記事分類手法の提案(クラスタリング, 夏のデータベースワークショップ2005)
- Fat-Btree, P-tree, SkipGraphを用いた範囲問合せ性能の比較実験
- Fat-Btree, P-tree, SkipGraphを用いた範囲問合せ性能の比較実験
- 関連ファイルの発見におけるファイルRMC操作の考慮
- 機械学習を用いたテロップ表示意図推定による動画メタデータ生成手法 (パターン認識・メディア理解)
- 機械学習を用いたテロップ表示意図推定による動画メタデータ生成手法 (データ工学)
- アクセスログに基づくファイルとWebページの関連性抽出手法
- 到着頻度と関連性を考慮した時系列文書の連続的トピック分析(時系列とコンテンツ)(夏のデータベースワークショップDBWS2004)
- 到着頻度と関連性を考慮した時系列文書の連続的トピック分析(セッション4C : 時系列とコンテンツ)(夏のデータベースワークショップ : DBWS2004)
- RDB上のXSLT実体化ビューのインクリメンタルな更新について(XML 1)(夏のデータベースワークショップDBWS2004)
- RDB上のXSLT実体化ビューのインクリメンタルな更新について(セッション3B : XML1)(夏のデータベースワークショップ : DBWS2004)
- サポートベクターマシンを用いた気圧配置検出手法の提案 : 西高東低冬型を対象として
- センサデータベースマネージャにおける問合せ処理とデータ圧縮の同時最適化
- 機械学習を用いたテロップ表示意図推定による動画メタデータ生成手法(テーマセッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- 機械学習を用いたテロップ表示意図推定による動画メタデータ生成手法(テーマセッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- 単語の専門性に着目した気象学論文からの専門語抽出(宇宙科学情報解析論文誌 第一号)
- 複数のユーザアカウントを用いたソーシャルブックマークスパムの検出
- 複数のユーザアカウントを用いたソーシャルブックマークスパムの検出
- 低遅延ストリーム処理のための結合演算並列実行方式
- 低遅延ストリーム処理のための結合演算並列実行方式
- 関数従属性と包含従属性を用いたXML-RDBマッピングの提案と評価
- ストリームデータ処理における異常検知手法の共有化に関する検討
- EPUBCFIを用いた読書情報管理システムの提案
- AISを用いた複合イベント処理の効率化
- RMC操作に基づくタスクとタスク間関連度を考慮したファイル検索(情報検索,データ工学と情報マネジメント論文)
- 動的タイムワーピング距離を用いたX線天文データの類似検索(宇宙科学情報解析論文誌 第二号)
- 知的環境とセンサネットワーク : アンビエントセンサネットワーク
- トランザクショナルなストリームデータ処理の実現方式(ストリーム処理とI/O,ビックデータ工学及び一般)
- ソーシャルメディアにおけるローカルイベントを用いたユーザ位置推定手法
- 推論処理を有するストリーム処理基盤
- 推論処理を有するストリーム処理基盤
- 暗号化ストリームデータ処理における効率化の検討(データ処理の効率化,ビッグデータとソーシャルコンピューティング,及び一般)
- BP-3-1 ビッグデータ分析のためのデータ工学基盤研究(BP-3.知的環境を実現するビッグデータ解析と通信行動分析,パネルセッション,ソサイエティ企画)
- C言語による動的リコンフィギュラブルハードウェアへのWindow Joinの実装(データ分析・処理基盤,セキュリティ・プライバシー保護技術,ネットワークコーディング,信頼性技術,DDoS,認証/ID管理,及び一般)
- AISを用いた複合イベント処理の効率化(一般,フレッシュマンセッション及び一般)
- リコンフィギュラブルハードウェアを用いた高速ストリーム処理の一検討(数値計算と高速化,リコンフィギャラブルシステム,一般)
- 知的環境とセンサネットワーク : アンビエントセンサネットワーク
- トランザクショナルなストリームデータ処理の実現方式