MapReduceにおけるRDF-DB処理に適したデータ分散格納方法の提案(HPC-14:分散処理,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
スポンサーリンク
概要
- 論文の詳細を見る
ユビキタスコンピューティングの世界で用いられる"ucode"を管理するシステムにRDF-DB (RDF database)を利用するには,スケーラブルなRDF-DBを構築する技術の確立が必要である.そこで,我々はRDF-DBのバックエンドに分散ストレージとMapReduceフレームワークを用いた並列データ処理を利用することで,膨大なデータに対する多数の問合せに対応したシステムの構築を試みている.本稿では,まずMapReduceを実装するHadoopにおいて,データベースの結合演算を行うプログラムの性能を評価した.次に,HadoopとRDF-DBのそれぞれの特徴に基づき,データベースの基本的なデータ格納手法であるVertical Partitioning,Horizontal Partitioning,Sortingをもとに,MapReduceフレームワークにおけるRDF-DBに適したデータの分散格納方法を提案する.そして,約274万のトリプルに対して,2または3組のpredicateを選択条件とし,subjectに対する結合演算を行う問合せを用いて評価実験を行った.これらを通じて,最終的に構築しようとしているシステムの設計を行う上での基本的な知見を得た.
- 社団法人情報処理学会の論文
- 2008-07-29
著者
-
的野 晃整
産業技術総合研究所
-
谷村 勇輔
産業技術総合研究所
-
田中 良夫
産業技術総合研究所
-
小島 功
産業技術総合研究所
-
関口 智嗣
産業技術総合研究所
-
関口 智嗣
電子技術総合研究所
-
関口 智嗣
独立行政法人産業技術総合研究所
-
小島 功
産業技術総合研究所情報技術研究部門
-
小島 功
電総研・ソフトウエア部
-
小島 功
京都大学工学部
-
関口 智嗣
産業技術総合研
-
関口 智嗣
産業技術総合研究所グリッド研究センター
-
田中 良夫
産業技術総合研 情報技術研究部門
-
Sekiguchi Satoshi
Department Of Veterinary Pathology Nippon Veterinary And Animal Science University
-
小島 功
産業技術総合研
-
小島 功
産業技術総合研究所グリッド研究センター
-
小島 功
電総研情報アーキテクチャ部
-
田中 良夫
産業技術総合研
関連論文
- 分散環境下における情報システムの信頼性(ストレージの信頼性)
- Cell/B.E.プロセッサによるステレオマッチングソフトウェアの高速化(最適化・高速化)
- 高品質分散実行環境のための計算・ネットワーク資源のグローバルスケジューリング手法(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 予約利用可能なオブジェクトベース・ストレージの設計(ストレージシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- Relis-G : 計算グリッドのための遠隔ライブラリインストール機構(グリッド)
- GridRPCシステムにおけるリモートプログラムシッピング機構(グリッド)
- GridRPCシステムにおけるリモートプログラムシッピング機構
- Tsukuba-GAMA : E-サイエンス基盤のためのユーザ管理システムの設計と実装(グリッド)
- Tsukuba-GAMA--e-サイエンスのためのユーザ管理システムの設計と実装 (システム開発論文特集)
- MapReduceにおけるRDF-DB処理に適したデータ分散格納方法の提案(HPC-14:分散処理,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 分散RDFデータベースに関する研究(jDBワークショップ)
- GEO Grid : 地球観測グリッドの設計と実装(分散処理とシステムソフトウェア)
- GridFMO : グリッド環境を用いた大規模量子化学計算(グリッド)
- グリッドにおける計算資源と光パスネットワーク資源のコアロケーション実験(グリッド,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- グリッドにおける計算資源と光パスネットワーク資源のコアロケーション実験(グリッド, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- Access Gridの構築とGrid上での国際会議
- Tsukuba-GAMA: e-サイエンスのためのユーザ管理システムの設計と実装(支援・管理システム,システム開発論文)
- 複数拠点にまたがるe-Scienceアプリケーション環境構築を目的としたソフトウェア導入・管理機構(並列・分散システム,システム開発論文)
- WSRFに基づく情報サービスのXACMLによるアクセス制御(HPC-17 : グリッド)
- ステートレス仮想クラスタの構想(クラスタと省電力技術)
- 仮想クラスタ管理システムの設計と実装(仮想化)
- オーバーレイスケジューラJojo3のグリッドRPCへの適用(HPC-6:グリッド,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- オーバレイスケジューラJojo3の提案(Grid,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2008))
- Ninf-G2の性能評価 : 科学技術計算における事例(HPC-2 : グリッド(1))(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- グリッドチャレンジテストベッドの構築と運用 : グリチャレテストベッドの作り方(HPC-3 : 大規模運用システム(1))
- 複数ドメイン環境でQoSを保証するクラウドのための資源管理フレームワーク(クラウド、グリッド・P2P)
- Sun Fire X4500とGfarmを用いた大規模ストレージの構築(グリッドI)
- GridRPCを用いたタスクファーミングAPIの試作(グリッド)
- Gridポータル構築ツールキット Ninf-Portal
- Grid RPCシステムのAPIの提案
- 事前予約機構のポリシ記述による制御(グリッドと数値計算)
- グローバルスケジューリングのためのローカル計算資源管理機構
- 事前予約機能を持つローカルスケジューリングシステムの設計と実装(ジョブスケジューリング,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- オーバレイスケジューラJojo3の提案(Grid,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2008))
- Grid PSE Builder: グリッドにおける汎用PSE構築ツールの開発(HPC-5 : グリット(1))(2003年並列/分散/協調処理に関する『松江』サマー・ワークショップ(SWoPP松江2003))
- 性能を保証する分散実行環境のためのオンラインコアロケーション手法
- クラウドコンピューティングの性能評価
- クラウドコンピューティングの性能評価
- 異なるアーキテクチャのメニーコアプロセッサにおけるステレオマッチングプログラムの高速化と性能評価
- 匿名性と不正者の特定を両立させるP2P環境用認証方式(セキュリティ)
- 匿名相互証明書とP2P通信を用いる認証方式(OS-1: セキュリティ, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- 気象予報グリツドポータルの開発
- OpenGRコンパイラの設計および開発
- GlobusによるGrid RPCシステムの実装と評価
- ホモジニアス・ヘテロジニアスマルチコアによるDEM生成の高速化と性能評価
- ホモジニアス・ヘテロジニアスマルチコアによるDEM生成の高速化と性能評価
- 資源予約と連携した階層型分散資源モニタリングシステムの設計(クラスタとグリッド技術)
- 実大三次元振動実験のためのデータリポジトリシステムの設計(グリッド,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- 実大三次元振動実験のためのデータリポジトリシステムの設計(グリッド, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- グリッドRPCシステムのクラウド環境への適用
- WSRFに基づく情報サービスのXACMLによるアクセス制御
- 複数サイトにまたがる仮想クラスタの構築(HPC-14 : 分散処理)
- Access Gridの構築とGrid上での国際会議
- Network Enabled ServerのWorld-wide Gridにおける性能
- アクセス性能を保証する並列ファイルシステムの提案とストレージサーバの設計
- 予約利用可能なオブジェクトベース・ストレージの設計(ストレージシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- グリッドコンピューティングにおけるセキュリティモデル : NAREGIにおける実装例の報告(インターネット及び一般)
- グリッドコンピューティングにおけるセキュリティモデル : NAREGIにおける実装例の報告(インターネット及び一般)
- P2P環境における三次元ハッシュ索引を用いた分散RDFデータベース問合せ処理
- 超大規模材料シミュレーションのためのAsia-Pacific GRID戦略的活用構想(計算力学・工学におけるマルチスケールモデリング,理学と工学,科学と技術をつなぐマルチスケールモデリング)
- Webブラウザに基づくOGCサービスの連携アーキテクチャ(Webインタフェース/Wikipedia,e-Science及びData Intensive Science)
- 大規模資源の管理・制御に関する技術の実証実験 : 新世代ネットワークプラットフォームの実現に向けて(ネットワーク品質,トラヒック計測,サービス品質,一般)
- 超高精細映像配信サービスのためのストレージ・ネットワーク統合資源管理方式の提案(ブロードバンドアクセス,ホームネットワーク,ネットワークサービス,通信利用アプリケーション,一般)
- 仮想クラスタに対するIPストレージの提供方法の比較(仮想クラスタ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 仮想クラスタに対するIPストレージの提供方法の比較(仮想クラスタ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- ホモジニアス・ヘテロジニアスマルチコアによるDEM生成の高速化と性能評価
- ホモジニアス・ヘテロジニアスマルチコアによるDEM生成の高速化と性能評価
- 性能を保証する計算・ネットワーク資源のコアロケーション手法の評価
- 高品質分散実行環境のための計算・ネットワーク資源のグローバルスケジューリング手法(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- Grid : 広域分散並列処理環境での高精度分子シミュレーション : C_分子のレプリカ交換モンテカルロ(グリッド応用)
- PluS予約機構のCondorへの適用(通信とグリッドII)
- グローバルスケジューリングのための計算資源予約管理機構(グリッド)
- 事前予約機能を持つローカルスケジューリングシステムの設計と実装(ジョブスケジューリング, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- アクセス頻度を考慮したXML文書分割方式の提案
- 地球観測グリッドにおけるセキュリティ基盤の設計と実装
- Globus Toolkit 4におけるWSRFサービス記述のアノテーションによる補助(HPC-17 : グリッド)
- 動的に計算量が変化する大規模長時間実行Gridアプリケーションの実現(グリッド)
- MPIとGridRPCを利用した大規模Gridアプリケーションの開発と実行:Hybrid QM/MDシミュレーション(グリッドアプリケーション)
- Ninf-G2 : 大規模Grid環境での利用に即した高機能,高性能GridRPCシステムの実装と評価(グリッド)
- Ninf-G version2の実装および性能評価(グリッド基盤システム)
- Grid環境上における気象予報シミュレーションシステムの構築(グリッド応用)
- 分散 RDF 問合せ処理時の転送量減少のためのブルームフィルタの拡張
- 経路式に基づくRDFデータの関係データベースへの格納と検索(XMLデータベース, データ工学論文)
- 接尾辞配列に基づいたRDFデータのための索引手法
- 耐障害性を考慮したNinf-Gアプリケーションの実装と評価(グリッド)
- グリッドRPCシステムNinf-Gの可搬性および適応性の改善(数値計算とコンパイラ)
- GEO Grid の構築に向けたストレージシステムの予備評価(HPC-16 : 性能評価)
- RDFCube:分散RDFデータベースのための三次元ハッシュ索引
- SSDを用いたオブジェクトベース・ストレージデバイスのI/O性能制御
- グリッドRPCシステムNinf-Gのリモート起動手法の改良(Session 3:Cluster/Grid)
- D-037 経路式に基づくRDFデータのための索引手法とその構築法(D.データベース)
- 経路式に基づくRDFデータの関係データベースへの格納と検索
- 衛星画像とWeb情報の統合的な利活用手法の提案(e-ScienceとData Intensive Science,e-ScienceとData Intensive Science及び一般)
- GridRPCにおける複数ノードにまたがるTask Sequencingの実現(グリッド)
- Web2.0におけるJavaScriptコードのモジュール化とマッシュアップの枠組み
- 素集合判定に適したBloomフィルタの拡張
- 分散RDFデータベースに関する研究(jDBワークショップ)
- GridRPCを用いたタスクファーミングAPIの設計と実装(HPC-4: グリッド)
- GridRPCシステムの比較 : アプリケーション開発における違い(グリッド(2), 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))
- GridRPCシステムの比較 : アプリケーション開発における違い(グリッド(2), 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))