トランザクショナルなストリームデータ処理の実現方式(ストリーム処理とI/O,ビックデータ工学及び一般)
スポンサーリンク
概要
- 論文の詳細を見る
スマートフォンより継続的に送信される位置情報やWebサーバにおける各種ログをはじめとするストリームデータの分析処理に注目が集まっている.分析処理ではストリームデータの他にデータベース内のデータやクラス分類器など様々な外部リソースが参照され,その結果が集計されることも多い.しかしながら,こうした処理の最中に外部リソースが更新されると,一つの集計結果を計算する過程で参照した外部リソースが一貫したものではなくなってしまうことがある.本研究では,この現象を防ぐためにストリームデータ処理に対してトランザクション処理の概念を導入し,同時実行制御に基づく継続的クエリ処理方式を提案する.そして,プロトタイプシステムを用いた実験により提案方式の評価をおこなう.
- 2012-07-25
著者
-
川島 英之
筑波大学大学院システム情報工学研究科:筑波大学計算科学研究センター
-
北川 博之
筑波大学システム情報工学研究科
-
川島 英之
筑波大学システム情報工学研究科
-
小山田 昌史
筑波大学システム情報工学科
関連論文
- 分散ストリーム処理システムにおける高信頼化方式の提案(ストリーム処理,情報爆発論文)
- センシングデータ処理基盤技術--ストリームデータ処理 (特集 センシングネットワーク)
- 確率推論ストリーム処理エンジンのカメラセンサネットワークへの応用(ユビキタス・センサネットワークの要素技術,コンテクストの抽出,スマートスペース,ユビキタス生活支援,一般)
- サービス指向ルータにおける高速なデータ書き込み機構の提案(ネットワーク技術,2009年並列/分散/協調処理に関する『仙台』サマー・ワークショップ(SWoPP仙台2009))
- e-Scienceに関する30の質問(BoFセッション)
- リッチなユーザサービスを提供するセマンティックルータにおける正規表現プロセッサの提案(オーバーレイネットワーク,VPN,DDoS,ネットワークセキュリティ,P2P通信,ネットワークソフトウェア,一般)
- 2 センシングデータ処理基盤技術 : ストリームデータ処理(センシングネットワーク)
- 対象情報源の動的変化を考慮した分散ストリーム処理最適化手法の提案(セッション7b:ストリーム・スカイライン)
- オントロジを利用した異種河川測量データの統合(ポスターセッション,iDBフォーラム2008(招待講演・ポスター英語ディスカッション))
- サービス指向ルータにおけるパケットストリーム解析支援(ウェブ情報とデータベースに関して(ポスター講演))
- 情報の発信・共有・検索・受信に積極的に関わるセマンティックルータ(Inventive and Creative Architecture特別セッションIII)
- リッチなユーザサービスを提供するセマンティックルータにおけるデータベースインサーションの提案(解析,一般,オーバーレイネットワーク,VPN,DDoS,ネットワークセキュリティ,P2P通信,ネットワークソフトウェア,一般)
- グラフ分析を利用した文書集合からの話題構造マイニング(テキストマイニング,データ工学論文)
- リッチなユーザサービスを提供するセマンティックルータの提案(ARC-6:通信およびコンテスト報告,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- CC-Optimizerのパフォーマンスカウンタによる微視的評価(夏のデータベースワークショップ2007(データ工学,一般))
- CC-Optimizerのパフォーマンスカウンタによる微視的評価(データベース設計,夏のデータベースワークショップ2007(データ工学,一般))
- パケットストリーム処理における正規表現選択演算を含む問合せ最適化(コンピュータシステム技術2,組込み技術とネットワークに関するワークショップ ETNET2010)
- パケットデータ管理基盤における情報抽出処理の効率化技法(コンピュータシステム技術2,組込み技術とネットワークに関するワークショップ ETNET2010)
- 分散ストリーム処理システムにおける高信頼化方式の提案
- 映像処理に向けたストリーム処理エンジンEagleEyeの構築(ストリームデータ処理,センサデータ処理,ストリームデータベース,及び一般)
- 時系列データベースとストリーム処理の統合のためのデータモデルの提案(ストリームデータ1, 夏のデータベースワークショップDBWS2005)
- 時系列データベースとストリーム処理の統合のためのデータモデルの提案(ストリームデータ1, 夏のデータベースワークショップ2005)
- ルータのアクセス傾向を利用したネットワークプロセッサ搭載用キャッシュ機構
- ストリーム処理エンジンにおける集約演算の実時間処理に関する一考察
- コンテキストスイッチを利用したルータにおけるTCPストリーム再構築のメモリ削減手法
- パケットストリーム処理における正規表現選択演算を含む問合せ最適化(コンピュータシステム技術2,組込み技術とネットワークに関するワークショップETNET2010)
- パケットデータ管理基盤における情報抽出処理の効率化技法(コンピュータシステム技術2,組込み技術とネットワークに関するワークショップETNET2010)
- パケットストリームの正規表現処理を可能とするネットワークプロセッサ
- 4Q-1 StreamSpinnerのEC2における評価(ストリーム・空間検索,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 確率推論を有する関係データストリーム処理エンジンの設計(ユビキタス・センサネットワークの要素技術,コンテクストの抽出,スマートスペース,ユビキタス生活支援,一般)
- データストリーム処理の適応的最適化(ユビキタス・センサネットワークの要素技術,コンテクストの抽出,スマートスペース,ユビキタス生活支援,一般)
- 対象情報源を動的に選択可能なストリーム処理の実装と評価
- ユビキタス・センサネットワークのデータベース技術(ユビキタス・センサネットワークを支える理論,および一般)
- 3ZP-8 ベイズネットを用いた時系列イベントに対する確率推論処理(情報爆発時代におけるデータマイニング・アルゴリズム,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 3T-5 ストリーム処理における情報源の動的選択機能(センサデータベースとコンテンツ,学生セッション,データベースとメディア)
- ストリーム管理システムにおける永続化要求の妥当性評価(ストリーム,夏のデータベースワークショップDBWS 2006)
- 分散環境におけるストリーム処理の高信頼化(ストリーム,夏のデータベースワークショップDBWS 2006)
- ストリーム管理システムにおける永続化要求の妥当性評価(ストリーム)
- 分散環境におけるストリーム処理の高信頼化(ストリーム)
- 構造型P2Pネットワークにおけるキーワードを含むXPathによるXML文書検索(セッション7c:P2P)
- ASTER衛星画像とWebコンテンツを用いた新築建造物の検出(画像/三次元データ,e-Science及びData Intensive Science)
- 6ZN-6 映像ストリームとタプルストリームの統合利用のためのモデルの提案(情報爆発時代におけるマルチメディア処理,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 異種データストリーム統合基盤 : Stream Spinner(ウェブ情報とデータベースに関して(ポスター講演))
- 6ZK-1 分散ストリーム処理管理システムORINOCOの評価(情報爆発時代におけるストリームデータと実世界情報処理,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 分散ストリーム処理環境におけるアプリケーション配置最適化手法(夏のデータベースワークショップ2007(データ工学,一般))
- 仮想マシン技術を用いた持続型ストリーム処理環境の評価(夏のデータベースワークショップ2007(データ工学,一般))
- 分散ストリーム処理環境におけるアプリケーション配置最適化手法(ストリーム処理,夏のデータベースワークショップ2007(データ工学,一般))
- 仮想マシン技術を用いた持続型ストリーム処理環境の評価(ストリーム処理,夏のデータベースワークショップ2007(データ工学,一般))
- 5C-5 データストリーム処理におけるコスト推定に基づく動的な来歴保存方式(データベース技術一般,一般セッション,データベースとメディア,情報処理学会創立50周年記念)
- バイナリーデータに対するXMLビューの実現(XMLデータベース, データ工学論文)
- トピックを考慮した大規模文書情報源からのレコード抽出
- データクリーニングを統合した情報抽出システムの提案(情報抽出2,夏のデータベースワークショップDBWS 2006)
- 3J-1 流域水循環シミュレーションシステムと河川・流域データベースの連携(社会への応用,一般セッション,コンピュータと人間社会,情報処理学会創立50周年記念)
- 4Q-4 ストリーム処理エンジンにおける複数書き込み最適化の提案(ストリーム・空間検索,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 4Q-2 分散ストリーム処理システムにおける効率的なデータ配信基盤に関する研究(ストリーム・空間検索,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- データストリーム処理における適応的な来歴保存方式(テーマセッション,「ユビキタス,センサ環境におけるデータベース」,及び一般)
- パタンウィンドウに基づくシーケンスデータ処理と関係データ処理の統合
- ストリーム処理における来歴データ永続化の投機的実行方式
- データストリーム処理へのベイジアンネットワークの導入
- ストリーム処理エンジンにおける効率的な来歴管理
- 4Q-6 センサネットに対するXMLビューの提案(ストリーム・空間検索,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 多重比率規則抽出のためのデータ分析手法(データマイニング, 夏のデータベースワークショップDBWS2005)
- Hidden Web サイトからの新規トピック文書の抽出
- パケットデータ管理基盤における情報抽出処理の効率化技法
- 固有表現を用いたニュース記事分類手法の提案(クラスタリング, 夏のデータベースワークショップDBWS2005)
- 固有表現を用いたニュース記事分類手法の提案(クラスタリング, 夏のデータベースワークショップ2005)
- オンルータデータベースにおけるインデックス生成機構のマルチクエリ対応
- オンルータデータベースにおけるインデックス生成機構の実装
- ストリームに起因する連続的トランザクション呼び出しの効率化 (パターン認識・メディア理解)
- ストリームに起因する連続的トランザクション呼び出しの効率化 (データ工学)
- ストリーム処理エンジンと主記憶 DBMS の統合利用方式
- 移動軌跡ストリームに対する連続的 k-匿名化技法
- 地球観測衛星データとWeb コンテンツの統合による新築建造物および地形変化の検出
- Parallel Distance Based Outlier Detection in Very Large Datasets on Hadoop environment
- 到着頻度と関連性を考慮した時系列文書の連続的トピック分析(時系列とコンテンツ)(夏のデータベースワークショップDBWS2004)
- 到着頻度と関連性を考慮した時系列文書の連続的トピック分析(セッション4C : 時系列とコンテンツ)(夏のデータベースワークショップ : DBWS2004)
- RDB上のXSLT実体化ビューのインクリメンタルな更新について(XML 1)(夏のデータベースワークショップDBWS2004)
- RDB上のXSLT実体化ビューのインクリメンタルな更新について(セッション3B : XML1)(夏のデータベースワークショップ : DBWS2004)
- サービス指向ルータ上の分散ストリーム処理エンジンにおけるノード間通信機構の検討(ルーティング)
- FPGAを用いたデータストリームに対するウィンドウジョインの検討(FPGAアクセラレーター,FPGA応用及び一般)
- サービス指向ルータ上の分散ストリーム処理エンジンにおける適応的通信の検討(トラヒック計測・制御,ポリシー管理,ネットワーク異常検知,信頼性,認証,ID/名前空間,ネットワークセキュリティ,プライバシー,VPN,DDoS及び一般)
- サポートベクターマシンを用いた気圧配置検出手法の提案 : 西高東低冬型を対象として
- ストリームに起因する連続的トランザクション呼び出しの効率化(一般セッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- ストリームに起因する連続的トランザクション呼び出しの効率化(一般セッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- 単語の専門性に着目した気象学論文からの専門語抽出(宇宙科学情報解析論文誌 第一号)
- 複数のユーザアカウントを用いたソーシャルブックマークスパムの検出
- 複数のユーザアカウントを用いたソーシャルブックマークスパムの検出
- ストリームデータ処理における異常検知手法の共有化に関する検討
- 暗号化ストリームデータ処理における効率化の検討
- EPUBCFIを用いた読書情報管理システムの提案
- AISを用いた複合イベント処理の効率化
- 動的タイムワーピング距離を用いたX線天文データの類似検索(宇宙科学情報解析論文誌 第二号)
- トランザクショナルなストリームデータ処理の実現方式(ストリーム処理とI/O,ビックデータ工学及び一般)
- サービス指向ルータ・インフラストラクチャ(産学官連携研究開発成果発表会,Resilient Network,ディザスタ・リカバリ,BCP(Business Continuity Plan),臨時ネットワーク構築,省電力ネットワーク技術,TCP/IP,プロトコル,ルーチング,ネットワーク管理,認証/ID管理及び一般)
- ソーシャルメディアにおけるローカルイベントを用いたユーザ位置推定手法
- ストリームデータ処理における異常検知手法の共有化に関する検討(データ処理の効率化,ビッグデータとソーシャルコンピューティング,及び一般)
- 暗号化ストリームデータ処理における効率化の検討(データ処理の効率化,ビッグデータとソーシャルコンピューティング,及び一般)
- BP-3-1 ビッグデータ分析のためのデータ工学基盤研究(BP-3.知的環境を実現するビッグデータ解析と通信行動分析,パネルセッション,ソサイエティ企画)
- AISを用いた複合イベント処理の効率化(一般,フレッシュマンセッション及び一般)
- トランザクショナルなストリームデータ処理の実現方式