アウトオブオーダ型クエリ実行に基づくプラグイン可能なデータベースエンジン加速機構
スポンサーリンク
概要
- 論文の詳細を見る
アウトオブオーダ型クエリ実行とは,動的タスク分解と非同期入出力発行に基づくクエリ実行方式であり,従前の同期入出力発行・逐次処理に基づく実行方式と比べて,大規模データに対する選択的クエリ実行において高い性能を発揮することが知られている.本論文では,既存データベースエンジンにおけるクエリ実行の挙動を変えることなく,その処理性能をアウトオブオーダ型クエリ実行と同水準まで向上させるために,アウトオブオーダ型クエリ実行に基づくデータベースエンジン加速機構を提案する.当該機構は既存エンジンのクエリ実行と並行して当該クエリを協調的にアウトオブオーダ型実行し,バッファプールを介して先行的にデータベースページを供給することで,既存エンジンの入出力待ち時間を縮減し,大幅な高速化を実現する.本論文ではオープンソースデータベース管理システムPostgreSQLを対象とした加速機構の試作実装PgBoosterの構成法を示すとともに,ミッドレンジ級のサーバ・ディスクストレージからなる環境において評価実験を行い,その高速性を明らかにする.
- 2014-06-30
著者
-
合田 和生
東京大学生産技術研究所
-
喜連川 優
東京大学
-
Kitsuregawa Masaru
Univ. Tokyo
-
Kitsuregawa M
Univ. Tokyo Tokyo Jpn
-
喜連川 優
東京大学|国立情報学研究所
-
早水 悠登
東京大学大学情報理工学系研究科
-
喜連川 優
国立情報学研究所|東京大学生産技術研究所
関連論文
- 多周期的更新アクセスに適した二次記憶管理技法 : 連続的Webクローリングへの適用(ファイル編成,情報爆発論文)
- 編集にあたって(平成21年度長尾真記念特別賞紹介)
- グリーンレプリケーション : 二次系ディスクストレージの省電力化(ストレージ 並列分散データベース,データ工学論文)
- 編集にあたって(平成21年度論文賞の受賞論文紹介)
- 大規模ウェブテキストからの片仮名用言の自動獲得(テキストマイニング,データ工学論文)
- トレンドを考慮した検索クエリの分類手法の一検討
- 2.50年後の情報社会を支えるIT基盤(情報処理技術の未来地図,50周年記念特集号)
- IFIP-情報処理国際連合-近況報告(委員会から)
- SAN結合PCクラスタにおけるストレージ仮想化機構を用いた動的負荷分散並びに動的資源調整の提案とその評価(データベース)
- ITの進展と法制度の非想定領域 : 著作権法一部改正,47-6,47-7による検索エンジンの合法化について(研究開発における情報利用と著作権)
- 50周年記念全国大会を振り返って : 7,150人もの多のくの方々にご参加いただきお礼申し上げます(記念大会が示した情報処理の未来-情報処理学会創立50周年記念(第72回)全国大会報告-)
- グリーンレプリケーション : 二次系ディスクストレージの省電力化
- コラボラティブグリーンストレージ : データベースシステムとの連携によるディスクストレージ省電力化の構想(インターネットと環境・エコロジー,インターネットと環境・エコロジー,一般)
- 大規模日本語Webアーカイブの構築とその分析 (特集 データマネジメント技術)
- 10.Socio Sense : 過去9年に及ぶWebアーカイブから社会の動きを読む(第2部:情報の高信頼蓄積・検索技術等の開発,学と産の連携による基盤ソフトウェアの先進的開発)
- 共有ストレージプールを用いた並列データベース処理に於けるオンデマンド資源調節
- 共有ストレージプールを用いた並列データベース処理に於けるオンデマンド資源調節
- オンライントランザクション処理におけるDynamic Voltage and Frequency Scalingの消費電力削減効果に関する実験的考察 (データ工学)
- アウトオブオーダー型データベースエンジンOoODEの構想と初期実験
- 9.ストレージフュージョン : ストレージシステムとデータベース管理システムの融合(第2部:情報の高信頼蓄積・検索技術等の開発,学と産の連携による基盤ソフトウェアの先進的開発)
- 6L-3 Storage Fusion : 自己再編成ストレージシステムの高度化に関する一考察(リーディングプロジェクト e-society: Strage Fusion,一般セッション,リーディングプロジェクト e-society)
- 6L-2 データベース処理を意識したディスクアレイ省電力化のための電力消費モデルの構築(リーディングプロジェクト e-society: Strage Fusion,一般セッション,リーディングプロジェクト e-society)
- 6L-1 Storage Fusion : データベース処理を意識したディスクストレージ省電力化の一考察(リーディングプロジェクト e-society: Strage Fusion,一般セッション,リーディングプロジェクト e-society)
- オンライン構造劣化モニタを用いたデータベース再編成支援(夏のデータベースワークショップ2007(データ工学,一般))
- オンライン構造劣化モニタを用いたデータベース再編成支援(データベース技術,夏のデータベースワークショップ2007(データ工学,一般))
- データベースシステムの問合せ実行計画を利用したディスクアレイ省電力化に関する一考察
- ログ転送を用いたディザスタリカバリシステムにおけるディスクストレージの省電力化方式の検討
- データベース構造劣化によるOLTP性能低下に関する一考察
- データベースにおけるリアルタイム構造劣化監視機構の試作(ストレージ,夏のデータベースワークショップDBWS 2006)
- データベースにおけるリアルタイム構造劣化監視機構の試作(ストレージ)
- データベースにおけるリアルタイム構造劣化監視機構の試作
- データベースにおけるリアルタイム構造劣化監視機構の試作
- 構造劣化の局所性を活かしたデータベース部分再編成の提案
- 関係データベースにおける構造劣化監視機構を用いた再編成スケジューラの提案
- データベース更新差分を用いた範囲検索のIOコスト推定(高性能システム, 夏のデータベースワークショップDBWS2005)
- Webマイニングにおける語義曖昧性解消のための擬似負例を用いた能動学習
- オンライントランザクション処理におけるDynamic Voltage and Frequency Scalingの消費電力削減効果に関する実験的考察(実世界データ処理,モバイルデータベースとGIS及び一般)
- 大規模Webアーカイブ更新のための階層的スケジューリング手法
- 情報爆発論文特集の発行にあたって(情報爆発論文)
- データベース
- 編集長インタビュー 喜連川優 東京大学生産技術研究所教授 "検索"を超える基盤を作りたい
- 編集にあたって(平成20年度論文賞の受賞論文紹介)
- 編集にあたって(平成20年度長尾真記念特別賞紹介)
- IFIP-情報処理国際連合-近況報告(委員会から)
- 6R-3 ディスクストレージ省電力化型問合せ実行方式に関する一考察(データベース技術,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 6R-5 An Experimental Study on Basic Performance of Flash SSDs with Micro Benchmarks and Real Access Traces
- 6R-4 アプリケーション指向ディスクドライブ省電力方式の一考察 : OLTP系DBMSのI/O挙動特性に基づくディスクドライブ省電力の効果(データベース技術,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 1K-5 地球観測データに対するメタデータ登録システムの構築 : データセットドキュメントメタファを利用したメタデータ登録(情報爆発時代における大規模画像処理システム,一般セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 5K-7 大規模Webアーカイブにおける時間分解能向上手法の検討(情報爆発時代におけるWeb解析,一般セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 1K-7 アジアモンスーン解析のための三次元気象データ可視化システム(情報爆発時代における大規模画像処理システム,一般セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 1K-6 水産資源研究のための粒子追跡シミュレーション : インタフェースの作成(情報爆発時代における大規模画像処理システム,一般セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 1K-4 多様な地球環境データを対象としたマイニングシステムの構築(情報爆発時代における大規模画像処理システム,一般セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 3K-1 自然言語処理における系列ラベリング問題のための高速で厳密な漸次的複合化アルゴリズム(情報爆発時代におけるテキスト処理・Wikipedia,一般セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 4ZP-8 時間変化を考慮した検索クエリのクラスタリングにおけるクエリ間類似度の検討(情報爆発時代におけるWeb検索技術,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 6K-8 Jumbo : a data intensive distributed computation platform : design overview and preliminary experiment
- 5K-6 時系列情報をもつウェブグラフ発達過程の3次元可視化(情報爆発時代におけるWeb解析,一般セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 3K-2 組み合わせ素性に基づく分類器の効率的学習法(情報爆発時代におけるテキスト処理・Wikipedia,一般セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 2K-3 隠れマルコフモデルによるデータストリームのモニタリング手法(情報爆発時代におけるアルゴリズム高率化,一般セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- Hmine-rev : H-mine並列化に向けて大容量データベースにおける頻出パターンマイニングに関する研究(データマイニング, 夏のデータベースワークショップ2005)
- データベース更新差分を用いた範囲検索のIOコスト推定(高性能システム, 夏のデータベースワークショップ2005)
- データベース更新差分を用いた範囲検索のIOコスト推定
- 関係データベースシステムにおける自己再編成に関する一考察(ストレージ1)(夏のデータベースワークショップDBWS2004)
- 関係データベースシステムにおける自己再編成に関する一考察(セッション6C : ストレージ1)(夏のデータベースワークショップ : DBWS2004)
- データベース再編成機構を有するストレージシステム
- データベース再編成機能を有するストレージシステムの構築(ネットワークストレージシステム及び一般)
- 新動詞の成立にみる意味と形の変化の相関--「ファブる」と「モフる」の分析から
- インタビュー 喜連川優氏 東京大学生産技術研究所 教授 ぶっとんだ発想を出そう
- 戦略情報融合国際研究センター
- ストレージとDBMSの連携によるI/O性能障害の統合診断支援方式の開発と評価
- データベースマシンGRACEの同時実行制御
- 時々刻々と成長するグラフのための中心性モニタリング
- SSD環境を対象としたDynamic Voltage and Frequency Scaling制御によるオンライントランザクション処理省電力化の実験的考察 (パターン認識・メディア理解)
- SSD環境を対象としたDynamic Voltage and Frequency Scaling制御によるオンライントランザクション処理省電力化の実験的考察 (データ工学)
- オンライントランザクション処理におけるスループットを考慮したプロセッサ省電力手法の実験的考察
- オンライントランザクション処理におけるDynamic Voltage and Frequency Scalingを用いたアプリケーション指向省電力手法の実験的考察(一般(ストリーム・匿名性・省電力),e-ScienceとData Intensive Science及び一般)
- 特集「情報爆発時代におけるIT基盤技術」の編集と査読,編集における「べからず集」の実践にあたって
- SSD環境を対象としたDynamic Voltage and Frequency Scaling制御によるオンライントランザクション処理省電力化の実験的考察(一般セッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- SSD環境を対象としたDynamic Voltage and Frequency Scaling制御によるオンライントランザクション処理省電力化の実験的考察(一般セッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- オンライントランザクション処理におけるVM挙動の詳細解析
- ITをイネーブラとするプラットフォーマ学会を目指す:若手やんちゃ枠も作りたい -会長就任にあたって-
- マイクロブログにおける対話ネットワークと投稿内容を併用したユーザ推薦に関する一考察
- マイクロブログにおける対話ネットワークと投稿内容を併用したユーザ推薦に関する一考察
- SSDを利用したリレーショナルデータベースにおける大規模意思決定支援クエリ処理性能の特性
- SSDを利用したリレーショナルデータベースにおける大規模意思決定支援クエリ処理性能の特性
- マイクロブログを用いた鉄道の運行トラブル状況抽出に関する一検討
- マイクロブログを用いた鉄道の運行トラブル状況抽出に関する一検討
- 電力を考慮したアプリケーション構築のための計算機システムの提案
- VMライブマイグレーションにおける大規模I/O処理挙動に関する一考察(ストリーム処理とI/O,ビックデータ工学及び一般)
- テキストデータの未来関連情報における予定変更情報の獲得に関する研究
- マイクロブログを用いた鉄道の運行トラブル状況抽出に関する一検討 (データ工学)
- マイクロブログにおける対話ネットワークと投稿内容を併用したユーザ推薦に関する一考察 (データ工学)
- 時々刻々と成長するグラフのための直径モニタリング
- マイクロブログからの鉄道の運行トラブル発生検出および継続状況の抽出 (特集 「機械学習と自然言語処理への応用」および一般)
- 効率的なテキストストリーム処理のための自己適応的分類器 (特集 「人工知能とデータサイエンス」および一般)
- 語彙正規化との同時処理による高精度な形態素解析 (特集 「人工知能とデータサイエンス」および一般)
- 形態素解析における高速な単語ラティス生成
- SSDを利用したリレーショナルデータベースにおける大規模意思決定支i援クエリ処理性能の特性(ストレージ,ビッグデータを対象とした管理・情報検索・知識獲得及び一般)
- マイクロブログを用いた鉄道の運行トラブル状況抽出に関する一検討(twitter・ソーシャルネットワーク,ビッグデータを対象とした管理・情報検索・知識獲得及び一般)
- マイクロブログにおける対話ネットワークと投稿内容を併用したユーザ推薦に関する一考察(twitter・ソーシャルネットワーク,ビッグデータを対象とした管理・情報検索・知識獲得及び一般)
- アウトオブオーダ型クエリ実行に基づくプラグイン可能なデータベースエンジン加速機構