ストリーム処理における来歴データ永続化の投機的実行方式
スポンサーリンク
概要
- 論文の詳細を見る
本論文は,データストリームにおける来歴管理技法を示す.ストリーム処理エンジンの出力を受け取ったアプリケーションからの根拠を問い合せる要求に応えるため,ストリーム処理エンジンに到着したタプルストリームの内,その出力の全来歴を永続化する.効率化に関する2つの基本方式を述べた後,投機的実行方式を述べる.頻繁に到着するデータストリームを一括してディスクに転送する方式を提案する.結果集合を成すタプルの全来歴タプルを連続領域にマーシャリングし,それをディスクへ一括転送することで,処理時間の長いディスクアクセスを減らすことができる.そして,プロトタイプSPEを作成して,ウィンドウ演算,選択演算,直積演算から構成される実行木について,ウィンドウ幅を変えて来歴タプル永続化に関する処理時間を計測した.実験の結果,来歴タプル永続化処理には多大な時間を要すること,およびその原因はディスクアクセス回数であることが示された.また,実行木の処理コストにより,有利な技法が変わることも示された.
- 一般社団法人情報処理学会の論文
- 2009-05-08
著者
-
川島 英之
筑波大学大学院システム情報工学研究科:筑波大学計算科学研究センター
-
北川 博之
筑波大学大学院システム情報工学研究科
-
天笠 俊之
筑波大学大学院システム情報工学研究科
-
川島 英之
筑波大学大学院システム情報工学研究科
-
天笠 後之
筑波大学大学院システム情報工学研究科
-
天笠 俊之
筑波大学システム情報系 : 宇宙航空研究開発機構宇宙科学研究所
関連論文
- 分散ストリーム処理システムにおける高信頼化方式の提案(ストリーム処理,情報爆発論文)
- センシングデータ処理基盤技術--ストリームデータ処理 (特集 センシングネットワーク)
- 確率推論ストリーム処理エンジンのカメラセンサネットワークへの応用(ユビキタス・センサネットワークの要素技術,コンテクストの抽出,スマートスペース,ユビキタス生活支援,一般)
- サービス指向ルータにおける高速なデータ書き込み機構の提案(ネットワーク技術,2009年並列/分散/協調処理に関する『仙台』サマー・ワークショップ(SWoPP仙台2009))
- e-Scienceに関する30の質問(BoFセッション)
- 第13回 The 15th International Conference on Database Systems for Advanced Applications(DASFAA2010)("I"見聞録)
- マルコフ連鎖モデルに基づく移動ヒストグラムの動的構築法(空間データベース,データ工学論文)
- リッチなユーザサービスを提供するセマンティックルータにおける正規表現プロセッサの提案(オーバーレイネットワーク,VPN,DDoS,ネットワークセキュリティ,P2P通信,ネットワークソフトウェア,一般)
- 2 センシングデータ処理基盤技術 : ストリームデータ処理(センシングネットワーク)
- サービス指向ルータにおけるパケットストリーム解析支援(ウェブ情報とデータベースに関して(ポスター講演))
- 情報の発信・共有・検索・受信に積極的に関わるセマンティックルータ(Inventive and Creative Architecture特別セッションIII)
- リッチなユーザサービスを提供するセマンティックルータにおけるデータベースインサーションの提案(解析,一般,オーバーレイネットワーク,VPN,DDoS,ネットワークセキュリティ,P2P通信,ネットワークソフトウェア,一般)
- Webとファイル空間を対象とした情報空間ガバナンス技術(ウェブ情報とデータベースに関して(ポスター講演))
- Webコンテンツ一貫性管理のための制約発見支援(セッション5a:Webマイニング)
- 3ZK-8 Webコンテンツ一貫性管理支援ツールの開発(情報爆発時代におけるWeb技術およびWeb情報抽出,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 非定型Webコンテンツ管理のための軽量ラッピング言語(夏のデータベースワークショップ2007(データ工学,一般))
- 非定型Webコンテンツ管理のための軽量ラッピング言語(データ管理,夏のデータベースワークショップ2007(データ工学,一般))
- Webページ移動先発見のための効率的なクローリング手法
- Webページ移動先発見のためのクローリング手法の提案(データ応用,夏のデータベースワークショップDBWS 2006)
- Webページ移動先発見のためのクローリング手法の提案(データ応用)
- Webリンク切れ自動修正のための公開実験システムの開発(Webシステム, 夏のデータベースワークショップDBWS2005)
- リッチなユーザサービスを提供するセマンティックルータの提案(ARC-6:通信およびコンテスト報告,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 例示データに基づく選択的ウェブクローリング手法について(対話型検索, 夏のデータベースワークショップDBWS2005)
- 例示データに基づく選択的ウェブクローリング手法について(対話型検索, 夏のデータベースワークショップ2005)
- CC-Optimizerのパフォーマンスカウンタによる微視的評価(夏のデータベースワークショップ2007(データ工学,一般))
- CC-Optimizerのパフォーマンスカウンタによる微視的評価(データベース設計,夏のデータベースワークショップ2007(データ工学,一般))
- パケットストリーム処理における正規表現選択演算を含む問合せ最適化(コンピュータシステム技術2,組込み技術とネットワークに関するワークショップ ETNET2010)
- パケットデータ管理基盤における情報抽出処理の効率化技法(コンピュータシステム技術2,組込み技術とネットワークに関するワークショップ ETNET2010)
- 6S-7 ソーシャルブックマークを利用したユーザ嗜好に基づくページの抽出(ユーザ指向・推薦,学生セッション,データベースとメディア)
- 分散ストリーム処理システムにおける高信頼化方式の提案
- Webリンク切れ自動修正のための公開実験システムの開発(Webシステム, 夏のデータベースワークショップ2005)
- WWWにおける信頼度の高いリンクの発見(Webリンク)(夏のデータベースワークショップDBWS2004)
- WWWにおける信頼度の高いリンクの発見(セッション6A : Webリンク)(夏のデータベースワークショップ : DBWS2004)
- 映像処理に向けたストリーム処理エンジンEagleEyeの構築(ストリームデータ処理,センサデータ処理,ストリームデータベース,及び一般)
- ルータのアクセス傾向を利用したネットワークプロセッサ搭載用キャッシュ機構
- ストリーム処理エンジンにおける集約演算の実時間処理に関する一考察
- ビットシグネチャを用いたWebページの包含従属性発見の効率化
- 異種XMLデータに対するファセット検索手法の提案
- コンテキストスイッチを利用したルータにおけるTCPストリーム再構築のメモリ削減手法
- パケットストリーム処理における正規表現選択演算を含む問合せ最適化(コンピュータシステム技術2,組込み技術とネットワークに関するワークショップETNET2010)
- パケットデータ管理基盤における情報抽出処理の効率化技法(コンピュータシステム技術2,組込み技術とネットワークに関するワークショップETNET2010)
- パケットストリームの正規表現処理を可能とするネットワークプロセッサ
- ユーザから指定された時刻に焦点を当てる文書クラスタリング法(夏のデータベースワークショップ2007(データ工学,一般))
- ユーザから指定された時刻に焦点を当てる文書クラスタリング法(クラスタリング・カテゴライズ,夏のデータベースワークショップ2007(データ工学,一般))
- 実データの分析に基づくクラスタリングパラメータの設定法に関する検討(マイニング)
- 新規性を考慮したインクリメンタルクラスタリング手法の実験評価(クラスタリング, 夏のデータベースワークショップDBWS2005)
- 新規性を考慮したインクリメンタルクラスタリング手法の実験評価(クラスタリング, 夏のデータベースワークショップ2005)
- 4Q-1 StreamSpinnerのEC2における評価(ストリーム・空間検索,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 2S-1 FUSEを利用した異種気象データの統合的利用(科学データベースとメディア,学生セッション,データベースとメディア)
- ユビキタス・センサネットワークを支えるデータストリーム処理(ユビキタス・センサネットワークの要素技術,コンテクストの抽出,スマートスペース,ユビキタス生活支援,一般)
- 確率推論を有する関係データストリーム処理エンジンの設計(ユビキタス・センサネットワークの要素技術,コンテクストの抽出,スマートスペース,ユビキタス生活支援,一般)
- データストリーム処理の適応的最適化(ユビキタス・センサネットワークの要素技術,コンテクストの抽出,スマートスペース,ユビキタス生活支援,一般)
- 対象情報源を動的に選択可能なストリーム処理の実装と評価
- 協調能動型データベースシステム技術の研究に向けて (メディア統合および環境統合のための高機能データベースシステム、および一般)
- 1S-8 グラフ構造に基づくソーシャルブックマークにおけるスパマー検出(ソーシャルWeb,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 2Q-8 アソシエーション抽出を用いたWeb情報の統合方式(可視化・Web情報統合,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- ユビキタス・センサネットワークのデータベース技術(ユビキタス・センサネットワークを支える理論,および一般)
- 1S-6 マイクロブログにおけるコミュニティの抽出と分析(ソーシャルWeb,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 3ZP-8 ベイズネットを用いた時系列イベントに対する確率推論処理(情報爆発時代におけるデータマイニング・アルゴリズム,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 3ZP-1 ヒューリスティクスを用いたWebコンテンツの包含従属性発見の効率化(情報爆発時代におけるデータマイニング・アルゴリズム,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 6S-3 注釈によるトレーサビリティ機能を持つXQuery処理系の実装(XML・グラフデータベース,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 6R-7 Efficient Privacy Preserving Query Processing using GPGPU
- データストリーム管理システムHarmonicaの設計と実装
- 2Q-3 動画コンテンツ共有サイトの可視化手法の研究(可視化・Web情報統合,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 4ZA-7 幼稚園向けバスロケーションシステムの開発(交通管理,学生セッション,ネットワーク,情報処理学会創立50周年記念)
- ASTER衛星画像とWebコンテンツを用いた新築建造物の検出(画像/三次元データ,e-Science及びData Intensive Science)
- 1S-8 構造型P2Pネットワークにおけるキーワードを用いたXML文書検索(P2Pデータ処理,学生セッション,データベースとメディア)
- 6ZN-6 映像ストリームとタプルストリームの統合利用のためのモデルの提案(情報爆発時代におけるマルチメディア処理,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 3R-3 リンク構造解析によるTwitterユーザのランキング手法(Web応用,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 異種データストリーム統合基盤 : Stream Spinner(ウェブ情報とデータベースに関して(ポスター講演))
- 2S-2 不確定性を有するデータ集合に対する外れ値検出(マイニング・地理情報,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 5C-5 データストリーム処理におけるコスト推定に基づく動的な来歴保存方式(データベース技術一般,一般セッション,データベースとメディア,情報処理学会創立50周年記念)
- 3J-1 流域水循環シミュレーションシステムと河川・流域データベースの連携(社会への応用,一般セッション,コンピュータと人間社会,情報処理学会創立50周年記念)
- 4Q-4 ストリーム処理エンジンにおける複数書き込み最適化の提案(ストリーム・空間検索,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 4Q-2 分散ストリーム処理システムにおける効率的なデータ配信基盤に関する研究(ストリーム・空間検索,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- データストリーム処理における適応的な来歴保存方式(テーマセッション,「ユビキタス,センサ環境におけるデータベース」,及び一般)
- パタンウィンドウに基づくシーケンスデータ処理と関係データ処理の統合
- ストリーム処理における来歴データ永続化の投機的実行方式
- データストリーム処理へのベイジアンネットワークの導入
- ストリーム処理エンジンにおける効率的な来歴管理
- パケットデータ管理基盤における情報抽出処理の効率化技法
- オンルータデータベースにおけるインデックス生成機構のマルチクエリ対応
- オンルータデータベースにおけるインデックス生成機構の実装
- ストリームに起因する連続的トランザクション呼び出しの効率化 (パターン認識・メディア理解)
- ストリームに起因する連続的トランザクション呼び出しの効率化 (データ工学)
- ストリーム処理エンジンと主記憶 DBMS の統合利用方式
- 移動軌跡ストリームに対する連続的 k-匿名化技法
- 地球観測衛星データとWeb コンテンツの統合による新築建造物および地形変化の検出
- Parallel Distance Based Outlier Detection in Very Large Datasets on Hadoop environment
- サービス指向ルータ上の分散ストリーム処理エンジンにおけるノード間通信機構の検討(ルーティング)
- FPGAを用いたデータストリームに対するウィンドウジョインの検討(FPGAアクセラレーター,FPGA応用及び一般)
- サービス指向ルータ上の分散ストリーム処理エンジンにおける適応的通信の検討(トラヒック計測・制御,ポリシー管理,ネットワーク異常検知,信頼性,認証,ID/名前空間,ネットワークセキュリティ,プライバシー,VPN,DDoS及び一般)
- ストリームに起因する連続的トランザクション呼び出しの効率化(一般セッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- ストリームに起因する連続的トランザクション呼び出しの効率化(一般セッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- ストリームデータ処理における異常検知手法の共有化に関する検討
- 暗号化ストリームデータ処理における効率化の検討
- トランザクショナルなストリームデータ処理の実現方式(ストリーム処理とI/O,ビックデータ工学及び一般)
- サービス指向ルータ・インフラストラクチャ(産学官連携研究開発成果発表会,Resilient Network,ディザスタ・リカバリ,BCP(Business Continuity Plan),臨時ネットワーク構築,省電力ネットワーク技術,TCP/IP,プロトコル,ルーチング,ネットワーク管理,認証/ID管理及び一般)
- ストリームデータ処理における異常検知手法の共有化に関する検討(データ処理の効率化,ビッグデータとソーシャルコンピューティング,及び一般)
- 暗号化ストリームデータ処理における効率化の検討(データ処理の効率化,ビッグデータとソーシャルコンピューティング,及び一般)