ストリーム型ログデータ蓄積処理向け無停止DB分割方式の提案
スポンサーリンク
概要
- 論文の詳細を見る
ライフログ蓄積処理システム等で使用され,停止することが許されないストリーム型ログデータ蓄積用 DB が処理全体のボトルネックになることを防ぐために無停止で DB を分割する方式を提案する.具体的には,分割元 DB と分割先 DB の両方の DB に対するクエリ実行と分割元 DB から分割先 DB へのデータコピーを並行して行いながら,クエリの振り分け先を段階的に切り替えることで,無停止で DB を分割して処理のスケールアウトを実現する.評価実験の結果から,データがバースト的に追記された場合でも定常的に追記される場合でも無停止で DB 分割を実行しながら処理の動的スケールアウトが実現できることを示す.
- 2010-02-25
著者
-
山室 雅司
日本電信電話株式会社NTTサイバースペース研究所
-
赤間 浩樹
日本電信電話株式会社NTTサイバースペース研究所
-
長谷川 知洋
日本電信電話株式会社NTTサイバースペース研究所
-
山室 雅司
Ntt サイバースペース研
-
山室 雅司
日本電信電話株式会社 サイバースペース研究所
-
内藤 一兵衛
日本電信電話株式会社NTTサイバースペース研究所
-
毛受 崇
日本電信電話株式会社NTTサイバースペース研究所
-
毛受 崇
西日本電信電話株式会社
関連論文
- ストリーム型データ管理技術のライフログ蓄積処理への適用 (特集 ライフログ活用サービスの基盤技術)
- Folksonomyのタグを用いた自動分類体系構築へ向けて(夏のデータベースワークショップ2007(データ工学,一般))
- Folksonomyのタグを用いた自動分類体系構築へ向けて(クラスタリング・カテゴライズ,夏のデータベースワークショップ2007(データ工学,一般))
- ダイナミックタイムワーピング距離に基づくストリーム処理(パターン照合・パターン発見,データ工学論文)
- 電子透かし読取りのためのiアプリ高速コーナ検出アルゴリズム(画像認識, コンピュータビジョン)
- SPIRAL : 隠れマルコフモデルのための高速探索手法(ポスターセッション,iDBフォーラム2008(招待講演・ポスター英語ディスカッション))
- 大量な時系列データストリームの類似検出手法(テーマセッション: 時系列・大規模メディア処理, データ工学とメディア理解との融合)
- 関係XMLデータベース用開発支援ツールの設計と実装(テーマセッション,データ工学とメディア理解との融合)
- 隠れマルコフモデルデータベースの高速ゆう度検索(データ工学研究専門委員会推薦論文,空間データベース,データ工学論文)
- TEAM Digital Commons(コンテンツ流通と著作権管理)
- カメラ付携帯電話機を用いたアナログ画像からの高速電子透かし検出方式(画像・映像処理)
- J-036 カメラ入力画像からのリアルタイム電子透かし検出方式(J.グラフィクス・画像)
- J-035 色空間範囲を考慮した電子透かし埋め込み方法の検討(J.グラフィクス・画像)
- 関係XMLデータベース用開発支援ツールの設計と実装(テーマセッション,データ工学とメディア理解との融合)
- フォルダ・プログラミング環境「POLDER」
- XML文書に対する構造を指定した全文検索方式の提案
- D-4-16 pgBoscage : PostgreSQLを用いたXMLDBの実装(D-4. データ工学,一般セッション)
- XMLデータの要約情報を用いた高速なXPath処理方法(問合せ処理,データ工学論文)
- 追記・参照型データ管理システムにおけるPush/Pull混在方式の特性評価(セッション4-C:ストリーミング技術)
- 追記・参照型データ管理システムにおけるPush/Pull混在方式の特性評価(セッション4-C:ストリーミング技術)
- エンティティ中心アプローチによるXMLDB設計手法
- 画像検索処理における問い合わせ言語への要求
- 大量な時系列データストリームの類似検出手法(テーマセッション: 時系列・大規模メディア処理, データ工学とメディア理解との融合)
- TEAM Digital Commons(コンテンツ流通と著作権管理)
- 個人情報保護・活用のための契約方式(社会的課題と情報システム)
- 個人情報保護・活用のための契約方式(社会的課題と情報システム)
- ストリーム型ログデータ蓄積処理向け無停止DB分割方式の提案
- ストリーム型ログデータ蓄積処理向け無停止DB分割方式の提案
- ストリーム型ログデータ蓄積処理向け無停止DB分割方式の提案
- 2者間マッチングにおけるコストベースの最適化手法
- 大量データストリームの類似探索手法
- 大量データストリームの類似探索手法
- SoundCompass : ハミングによる音楽検索システム(音楽情報)
- ハミング検索用音楽データベースの分析 : 部分曲分割方法の改善に向けて
- ハミングを用いた音楽検索システム
- 時間正規化を用いたハミング検索システム
- 分散インデックスアーキテクチャによる複数データソースの同時結合方式の提案(検索と索引技術,モバイルデータベースとGIS及び一般)
- 分散データストリーム処理における適応型リソース制御方式の検討(セッションB-2:分散処理)
- 分散データストリーム処理における適応型リソース制御方式の検討(セッションB-2:分散処理)
- 追記・参照型データ管理システムの設計と評価(ネットワークサービス,情報洪水時代のネットワークサービス)
- 分散データストリーム処理アーキテクチャの提案(夏のデータベースワークショップ2007(データ工学,一般))
- 分散データストリーム処理アーキテクチャの提案(ストリーム処理,夏のデータベースワークショップ2007(データ工学,一般))
- XMLストリーム処理 : XPath評価からSVGレンダリングまで(オフィスにおけるデジタルドキュメント/コンテンツ管理技術及び一般)
- XMLストリーム処理 : XPath評価からSVGレンダリングまで(オフィスにおけるデジタルドキュメント/コンテンツ管理技術及び一般)
- 個人情報を保護しつつ活用する方法に関する一方式(個人情報)
- DNS名前空間を利用した情報共有方法の検討 : Metadata Space Service System(セッションB-4)(アクティブネットワーク,IP-VPN,ネットワークセキュリティ,超高速ネットワーク,P2P通信及び一般)
- DNS名前空間を利用した情報共有方法の検討 : Metadata Space Service System(セッションB-4)(アクティブネットワーク,IP-VPN,ネットワークセキュリティ,超高速ネットワーク,P2P通信及び一般)
- DNS名前空間を利用した情報共有方法の検討 : Metadata Space Service System(セッションB-4)(アクティブネットワーク,IP-VPN,ネットワークセキュリティ,超高速ネットワーク,P2P通信及び一般)
- ニュースコンテンツの検索と編集機能を融合するニュースオンデマンドシステムの設計と実現
- シナリオデータベースによるニュース・オン・デマンドシステムの実現
- コンテンツ視聴により形成される動的なコミュニティにおけるユーザ行動特性の分析
- M-002 利用者の利便性を考慮した匿名権利譲渡方式の提案(M.ネットワーク・モバイルコンピューティング)
- 情報流通過程におけるユーザ種別を考慮した協調フィルタリング方式の検討(情報選択・配信)
- ランプ型閾値秘密分散法における部分情報の復元制御
- ランプ型閾値秘密分散法における部分情報の復元制御
- オブジェクトに基づく高速画像検索システム : ExSight
- 6E-7 分散データストリーム処理における自律Pull制御方式の改善(クラウドと分散処理,一般セッション,ネットワーク,情報処理学会創立50周年記念)
- 6E-6 メディア処理向けクラウド基盤「虹雲」(クラウドと分散処理,一般セッション,ネットワーク,情報処理学会創立50周年記念)
- D-4-5 タグツリーによる個人コンテンツ管理システム(D-4. データ工学,一般セッション)
- ディジタル・アイデンティティの法人論的考察
- ディジタル・アイデンティティの法人論的考察
- コンテンツ埋込DBと木状ビューの対応を使ったメタデータ管理インタフェースの設計と実装
- エッジ検出と領域融合によるカラー画像のセグメンテーション
- 画像内オブジェクトの自動抽出を使った画像検索システム ExSight : 写真(PhotoDisk)への適用
- エッジ検出と領域融合によるカラー画像のセグメンテーション
- 画像内オブジェクトの自動抽出を使った画像検索システムExSight : 写真(PhotoDisk)への適用
- 類似画像検索方式の改変画像検出への適用
- データ圧縮型多次元空間インデックスVA-TREE
- 大量画像の閲覧を目的とする階層的分類支援機能 : 画像目録の実装と評価
- データ圧縮型インデックスVA-TREEの検討
- 色や形状等の表層的特徴量にもとづく画像内容検索技術
- 画像の内容検索技術--色や形状等の特徴量にもとづく画像の検索 (画像検索技術の今)
- 近傍検索向け転置ファイル法における外部キー検索と動的データ追加の実装と評価
- SQLの実行順序チェック方式 : (DBprobe-check)
- DB性能評価における実システムの疑似方式(DBprobe-reverse)
- 追記・参照データ管理システムにおける分散蓄積データの再フィルタ方式
- 大量画像の閲覧を容易にする画像目録システムを開発
- XML文書を対象として例示検索法の検討
- 虹雲ノート--クラウド上でのメディア処理の連携システム (パターン認識・メディア理解)
- 虹雲ノート--クラウド上でのメディア処理の連携システム (データ工学)
- データベース最前線(9)多次元空間索引と画像・音楽の内容検索
- 画像からの直線検出と直線をキーとした画像の検索
- 虹雲ノート : クラウド上でのメディア処理の連携システム(テーマセッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- 虹雲ノート : クラウド上でのメディア処理の連携システム(テーマセッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- 時間制約を持つ寄り道経路探索システムの実現と評価
- GPGPUを用いた近似kNNグラフによる大規模高次元ベクトルに対する高速な近似最近傍探索法の検討
- GPGPUを用いた近似kNNグラフによる大規模高次元ベクトルに対する高速な近似最近傍探索法の検討
- オープンソースミドルウェアへの移行のための移植開発支援ツールの評価
- フォルダ・プログラミング環境におけるエンドユーザインタフェースに関する一考察
- フォルダ・プログラミング環境における簡素なプログラミング言語PPL13plの設計