MapReduce環境におけるアドホックなクエリを対象とした,Adaptive indexing適用に関する一検討(ビッグデータ,ビッグデータとソーシャルコンピューティング,及び一般)
スポンサーリンク
概要
- 論文の詳細を見る
MapReduceをペースとするデータ処理基盤は,定型的かっ定期的な問い合わせとともに,アドホックな問い合わせを行う解析基盤として重要性を増している.MapReduce環境では,Map処理時にすべてのレコードをスキャンし,処理を行う.例えば,同じようなレコード選択条件を持つクエリが繰り返し処理された場合でも,毎回,アドホックなクエリとして扱われ,レコードの全スキャンが繰り返される.本稿では,アドホックではあるが同じよう選択条件をもつ問合せ処理をMapReduce環境において効率良く処理するために,データベースの技術であるAdaptiveindexingの導入を検討する.Adaptiveindexingとはクエリの実行時にインデックスを生成,更新していく手法であり,異なるレンジ検索が繰り返し発行されるごとに,インデックスを更新し,次のクエリにてそのインデクスを利用することで,クエリの処理時間が速くなる.Adaptiveindexing適用に関するMapReduce環境における課題を検討し,適用モデルを提案する.
- 一般社団法人電子情報通信学会の論文
- 2012-12-05
著者
-
横山 大作
東京大学IRT研究機構
-
中野 美由紀
東京大学生産技術研究所
-
Kitsuregawa Masaru
Univ. Tokyo
-
横山 大作
東京大学生産技術研究所
-
奥寺 昇平
東京大学生産技術研究所
-
喜連 川優
東京大学生産技術研究所
関連論文
- コンピュータゲームプレイヤにおける評価要素の自動生成に関する研究(評価関数,ゲームプログラミング)
- Bouzy's 5/21 algorithmを用いたDf-pn+探索の詰碁への適用
- GAとTD(λ)学習の組み合わせによるゲーム局面評価パラメータの調整(学習1)
- 素性にモーラとシラブルを用いた略語の自動推定(言い換え・略語・要約)
- 50周年記念全国大会を振り返って : 7,150人もの多のくの方々にご参加いただきお礼申し上げます(記念大会が示した情報処理の未来-情報処理学会創立50周年記念(第72回)全国大会報告-)
- グリッドチャレンジテストベッドの構築と運用 : グリチャレテストベッドの作り方(HPC-3 : 大規模運用システム(1))
- 分散共有メモリ計算機上におけるデータスキューに対する結合演算の性能解析
- 分散共有メモリ計算機上におけるデータスキューに対する結合演算の性能解析
- 分散共有メモリ計算機における並列ハッシュ結合演算処理の性能解析 (高度データベース論文特集)
- 分散共有メモリ並列計算機における関係結合演算の性能
- 共有メモリ型計算機上でのトランスポーズドファイルを用いた並列関係問合せ処理の実装方式とその評価
- 分散共有メモリ計算機における並列ハッシュ結合演算処理方式の設計と実装
- 共有メモリマルチプロセッサ上でのトランスポーズドファイルを用いた並列関係問合せ処理
- 分散共有メモリ計算機における並列ハッシュ結合演算処理方式の設計と実装
- 共有メモリマルチプロセッサ上でのトランスポーズドファイルを用いた並列関係問合せ処理
- トランスポーズドファイル上での並列結合演算処理方式に関する一考察
- 分散共有メモリ計算機における並列ハッシュ結合演算方式の実装
- 分散共有メモリ計算機上における並列ハッシュ結合演算処理方式の一考察
- 並列関係データベースシステムにおけるバッチ問合せ処理最適化技法の検討
- 並列計算機AP1000DDVにおける多重結合演算の実装とその評価
- 並列関係データベースシステムにおける多重問合せ最適化に関する一考察
- 並列データベースシステムにおける多重結合演算処理の最適化とその評価
- 並列データベースシステムにおける多重結合演算の静的最適化技法の一考察
- GN ハッシュ結合方式とその評価
- 並列データベースシステムにおける多重結合演算処理の最適化
- 6R-5 An Experimental Study on Basic Performance of Flash SSDs with Micro Benchmarks and Real Access Traces
- 6R-4 アプリケーション指向ディスクドライブ省電力方式の一考察 : OLTP系DBMSのI/O挙動特性に基づくディスクドライブ省電力の効果(データベース技術,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 6W-2 画像群中の物品発見における計算量削減手法の提案(画像データベース,学生セッション,人工知能と認知科学)
- InTrigger : 柔軟な構成変化を考慮した多拠点に渡る分散計算機環境(HPC-14 : 分散処理)
- ハッシングに基づく大規模探索問題の耐故障分散処理手法
- 分散ハッシュ表に基づく大規模探索問題の耐故障並列化手法
- アクセス計算量 : 新しい並列計算量の枠組みの提案(プログラミングモデル・ツール)
- 高度な問題領域依存チューニングを許す並列組合せ最適化ライブラリPopKern
- 並列論理型言語処理系KLICのための動的負荷分散機構
- 共有メモリ型マルチプロセッサによる並列ハッシュ結合演算処理とその評価
- Symmetry S81における結合演算の並列処理の性能評価
- SymmetryS81におけるGRACEHASH方式の実装と評価
- 不均一なデータ分布におけるGNハッシュ結合方式の性能評価
- 機能ディスクシステム--関係デ-タベ-ス処理とその性能評価 (新しいデ-タベ-ス技術論文特集)
- GNハッシュ結合方式 : 入出力コストによるハッシュ結合方式の性能比較
- 機能ディスクシステム第2版における集計演算処理の考察
- 機能ディスクシステム第2版における結合演算処理の考察
- 機能ディスクシステム(FDS-R)へのQUELサブセットの実装
- 時々刻々と成長するグラフのための中心性モニタリング
- データインテンシブアプリケーションのI/O挙動解析評価とストレージ電力制御モデルの提案 (パターン認識・メディア理解)
- データインテンシブアプリケーションのI/O挙動解析評価とストレージ電力制御モデルの提案 (データ工学)
- SSD環境を対象としたDynamic Voltage and Frequency Scaling制御によるオンライントランザクション処理省電力化の実験的考察 (パターン認識・メディア理解)
- SSD環境を対象としたDynamic Voltage and Frequency Scaling制御によるオンライントランザクション処理省電力化の実験的考察 (データ工学)
- 次世代ITプラットフォームが可能にする情報爆発時代における「知」の創造 (特集 Big Dataにより新たな価値を創出する次世代ITプラットフォーム)
- オンライントランザクション処理におけるスループットを考慮したプロセッサ省電力手法の実験的考察
- OLTPを対象としたアプリケーション協調型大規模ストレージ省電力制御方式の提案及び評価
- 無線センサネットワークシステムにおける分散化フィルタリング機構に関する一考察 (データ工学)
- 1.情報爆発のこれまでとこれから(情報爆発が創り出すサイバーフィジカルな情報処理)
- オンライントランザクション処理におけるDynamic Voltage and Frequency Scalingを用いたアプリケーション指向省電力手法の実験的考察(一般(ストリーム・匿名性・省電力),e-ScienceとData Intensive Science及び一般)
- PDBFM:フィールドモニタリングのためのデータブラウザ
- ゲーム構成要素を組み合わせた特徴の最適化
- Webテキストを対象とした語義曖昧性解消のための言語資源の半自動構築
- 特集「情報爆発時代におけるIT基盤技術」の編集と査読,編集における「べからず集」の実践にあたって
- データインテンシブアプリケーションI/O挙動解析評価とストレージ電力制御モデルの提案(一般セッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- データインテンシブアプリケーションI/O挙動解析評価とストレージ電力制御モデルの提案(一般セッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- マイクロブログ上の流言に対するユーザの態度の分類(テーマセッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- マイクロブログ上の流言に対するユーザの態度の分類(テーマセッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- SSD環境を対象としたDynamic Voltage and Frequency Scaling制御によるオンライントランザクション処理省電力化の実験的考察(一般セッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- SSD環境を対象としたDynamic Voltage and Frequency Scaling制御によるオンライントランザクション処理省電力化の実験的考察(一般セッション,大規模マルチメディアデータを対象とした次世代検索およびマイニング)
- 無線センサネットワークシステムにおける分散化フィルタリング機構に関する一考察(ストリーミング,アーバンセンシングによる情報創出とその応用,及び一般)
- アプリケーション処理のI/O挙動特性を利用したディスクの実行時省電力手法とその評価 : オンライントランザクション処理における省電力効果(データ工学、Web情報システム,学生論文)
- 特別インタビュー 第4のメディアが作り出すビッグデータの時代 (特集 ビッグデータ活用時代 : 革新的な洞察に導かれる次世代のビジネス戦略)
- サイバーフィジカルサービスと明日へのIT
- 無線センサネットワークシステムにおける分散化フィルタリング機構に関する一考察
- VMライブマイグレーションにおける大規模I/O処理挙動に関する一考察 (データ工学)
- 先端的ICTを駆使するプラットホーマ学会を目指す?
- 蝶モニタリングのためのデータ解析ツール(科学データストレージと応用処理システム,e-science and Big Data,一般)
- 係り受け解析を用いたブログユーザの行動・興味に関する時系列推移3次元可視化システム(データ工学,Web情報システム)
- MapReduce環境におけるアドホックなクエリを対象とした,Adaptive indexing適用に関する一検討
- オンライントランザクション処理におけるVM挙動の詳細解析
- 言い換えと逆翻字を用いた片仮名複合名詞の分割
- 「ビッグデータに備える」特集号について
- オンライントランザクション処理におけるVM挙動の詳細解析 (データ工学)
- MapReduce環境におけるアドホックなクエリを対象とした, Adaptive indexing適用に関する一検討 (データ工学)
- 総論 : デ-タベース技術の過去・現在・未来(データベース構築の今)
- 係り受け解析を用いたブログユーザの行動・興味に関する時系列推移3次元可視化システム
- 蝶モニタリングのためのデータ解析ツール
- ITをイネーブラとするプラットフォーマ学会を目指す:若手やんちゃ枠も作りたい -会長就任にあたって-
- 先端的ICTを駆使するプラットホーマ学会を目指す?
- 大規模仮想化環境におけるオンライントランザクション処理の詳細解析
- マイクロブログにおける対話ネットワークと投稿内容を併用したユーザ推薦に関する一考察
- マイクロブログにおける対話ネットワークと投稿内容を併用したユーザ推薦に関する一考察
- SSDを利用したリレーショナルデータベースにおける大規模意思決定支援クエリ処理性能の特性
- SSDを利用したリレーショナルデータベースにおける大規模意思決定支援クエリ処理性能の特性
- マイクロブログを用いた鉄道の運行トラブル状況抽出に関する一検討
- マイクロブログを用いた鉄道の運行トラブル状況抽出に関する一検討
- 時系列テキストを用いた恒久性と一意性に基づく関係の分類(自然言語処理,学生論文特集秀逸論文,学生論文)
- BI-4-2 インタークラウドプロビジョニングに向けた計算リソースモデル(BI-4.高信頼化・省電力化に向けたクラウド連携技術,依頼シンポジウム,ソサイエティ企画)
- 電力を考慮したアプリケーション構築のための計算機システムの提案
- ビッグデータの潮流とデータエコシステム
- VMライブマイグレーションにおける大規模I/O処理挙動に関する一考察(ストリーム処理とI/O,ビックデータ工学及び一般)
- テキストデータの未来関連情報における予定変更情報の獲得に関する研究
- 26aXZD-9 Twitterにおける集合注意の創発とその定量化(26aXZD 生物・生態系(社会・言語・ゲーム等を含む),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- MapReduce環境におけるアドホックなクエリを対象とした,Adaptive indexing適用に関する一検討(ビッグデータ,ビッグデータとソーシャルコンピューティング,及び一般)
- オンライントランザクション処理におけるVM挙動の詳細解析(ビッグデータ,ビッグデータとソーシャルコンピューティング,及び一般)