高速フラッシュメモリに適したキーバリューストアの予備的評価
スポンサーリンク
概要
- 論文の詳細を見る
大規模なデータインテンシブアプリケーションの高性能実行の必要性から,大規模データ処理に特化された分散処理を実現する,Data-Intensive Scalable Computing(DISC) が注目されている.MapReduce は,そうした DISC を実現するシステムのひとつであるが,近年利用可能になってきた,10Gbit/sec クラスの読み書き性能を持つ高速な SSD (Solid State Drive) との組み合わせでは,ソフトウェアオーバヘッドが課題となり,十分な性能が得られない危惧がある.そこで我々は,10Gbit/sec クラスの読み書き性能を持つフラッシュメモリストレージに適した,MapReduce システムの実現を目指し,分散キーバリューストアを基盤とする MapReduce システムのプロトタイプ実装を行った.本稿では,我々のプロトタイプ実装の概要を示すとともに,その基盤となるキーバリューストアの既存実装の性能評価を行う.
- 2010-02-15
著者
-
工藤 知宏
産業技術総合研究所グリッド研究センター
-
広渕 崇宏
産業技術総合研究所
-
中田 秀基
産業技術総合研究所
-
小川 宏高
産業技術総合研究所
-
高野 了成
産業技術総合研究所
-
中田 秀基
独立行政法人産業技術総合研究所
-
工藤 知宏
産業技術総合研究所情報技術研究部門
-
広渕 崇宏
独立行政法人産業技術総合研究所
-
小川 宏高
独立行政法人産業技術総合研究所
-
高野 了成
独立行政法人産業技術総合研究所
-
中田 秀基
電子技術総合研究所
-
高野 了成
産業技術総合研究所情報技術研究部門
-
美田 晃伸
産業技術総合研究所|(株)フィックスターズ
-
中田 秀基
電総研
-
工藤 知宏
産業技術総合研 情報技術研究部門
-
工藤 知宏
独立行政法人産業技術総合研究所
-
中田 秀基
産業技術総合研
-
広渕 崇宏
独立行政法人産業技術総合研究所情報技術研究部門
-
高野 了成
独立行政法人産業技術総合研究所情報技術研究部門
-
中田 秀基
独立行政法人産業技術総合研究所情報技術研究部門
-
広渕 崇宏
独立行改法人産業技術総合研究所
関連論文
- 10GbE対応ネットワークテストベッドGtrcNET-10の構成と評価(HPC-6: 高速ネットワークとその応用)
- IPフロー単位のトラフィック制御設定の自動化機構(次世代・新世代ネットワークアーキテクチャ,トラヒック計測・制御,サービス品質,ネットワーク管理,一般)
- 10ギガビットイーサネットを用いた精密なパケットスケジューリング機構の開発(ポストIPネットワーキング,ネットワークモデル,インターネットトラヒック,TCP/IP,マルチメディア通信,ネットワーク管理,リソース管理,プライベートネットワーク,NW安全性及び一般)
- 精密な帯域共有とトラフィック隔離を実現するパケットスケジューリング方式(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 高品質分散実行環境のための計算・ネットワーク資源のグローバルスケジューリング手法(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ネットワーク帯域予約とOS仮想化機構を用いた分散アプリケーション実行環境に向けて(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 予約利用可能なオブジェクトベース・ストレージの設計(ストレージシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 光ネットワーク超低エネルギー化技術の研究開発(省エネルギーと超高速インターネット-デバイス,省エネルギーと超高速インターネット,一般)
- ソフトウェアによる精密ペーシング方式を用いたTCP通信性能の改善((フォトニック)IPネットワーク技術, (光)ノード技術, WDM技術, 一般)
- LAN領域での高性能並列処理に適したネットワークスイッチ用ASIC(システムLSIのための先進アーキテクチャ論文)
- グリッドにおける計算資源と光パスネットワーク資源のコアロケーション実験(グリッド,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- グリッドにおける計算資源と光パスネットワーク資源のコアロケーション実験(グリッド, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- WSRFに基づく情報サービスのXACMLによるアクセス制御(HPC-17 : グリッド)
- 動的ネットワークパスプロビジョニングの相互運用技術 : G-lambdaシステムとGLIF Feniusの連携(ネットワーク管理/制御/設計)
- 複数ドメイン環境でQoSを保証するクラウドのための資源管理フレームワーク(クラウド、グリッド・P2P)
- GridMPI^ Version 1.0の概要(HPC-10: 通信ライブラリ)
- ミドルウェア連携による計算・ネットワーク資源の日米間グリッドコアロケーション実験(グリッド,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 精密な帯域共有とトラフィック隔離を実現するパケットスケジューリング方式(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 精密な帯域共有とトラフィック隔離を実現するパケットスケジューリング方式 (計算機アーキテクチャ・ハイパフォーマンスコンピューティング・「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 事前予約機構のポリシ記述による制御(グリッドと数値計算)
- グローバルスケジューリングのためのローカル計算資源管理機構
- 事前予約機能を持つローカルスケジューリングシステムの設計と実装(ジョブスケジューリング,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- クラスタの温度分布について
- ソフトウェアによる精密ペーシング機構の提案と評価
- 並列アプリケーション実行におけるTCP/IP通信挙動の解析 (インターネットコンファレンス2003論文集)
- 高バンド幅高遅延ネットワークにおけるマルチパスを用いた高信頼通信手法の実現(ディペンダブルネットワーク・分散システム,ディペンダブルコンピューティング論文)
- グリッド上のコレクティブ通信アルゴリズム
- ストリーミング配信に対するソフトウェアペーシング方式の効果(有線/無線シームレスネットワーク,ネットワーク制御,無線通信一般)
- ギャップパケットを用いたソフトウェアによる精密ペーシング方式(ネットワーク)
- MPIライブラリと協調するTCP通信の実現(ネットワーク)
- IBM pSeriesにおけるGridMPIの実装と性能評価(通信ライブラリ, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))
- IBM pSeries における GridMPI の実装と性能評価
- GridMPIのためのTCP/IP輻輳制御実装方式の検討(OS-3:ネットワーク)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 高速フラッシュメモリに適したキーバリューストアの予備的評価
- 性能を保証する分散実行環境のためのオンラインコアロケーション手法
- 高速フラッシュメモリ向けMapReduceフレームワークの実現に向けて
- 資源予約と連携した階層型分散資源モニタリングシステムの設計(クラスタとグリッド技術)
- 経路が動的に接続/解放されるネットワークにおけるユーザ単位の経路切替手法(HPC-15 : ネットワーク)
- GridMPI^の性能評価(HPC-6 : 通信ライブラリ)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- ネットワーク帯域予約とOS仮想化機構を用いた分散アプリケーション実行環境に向けて(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 新しい不揮発性機能デバイスと革新的計算機システム実現の可能性について
- 新しい不揮発性機能デバイスと革新的計算機システム実現の可能性について
- プライベートアドレスを有するクラスタ群のための高性能MPI通信リレー機構
- ミドルウェア連携による計算・ネットワーク資源の日米間グリッドコアロケーション実験(グリッド,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- アクセス性能を保証する並列ファイルシステムの提案とストレージサーバの設計
- 予約利用可能なオブジェクトベース・ストレージの設計(ストレージシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- VLANイーサネットを用いたPCクラスタ向け大規模ネットワーク構築法
- LC-011 イーサネットを用いた大規模クラスタネットワーク構築法(ハードウェア・アーキテクチャ)
- 超高精細映像配信サービスのためのストレージ・ネットワーク統合資源管理方式の提案(ブロードバンドアクセス,ホームネットワーク,ネットワークサービス,通信利用アプリケーション,一般)
- MPI通信モデルに適した非同期通信機構の設計と実装(クラスタソフトウェア)
- VLANを用いた複数パスを持つクラスタ向きL2 Ethernetネットワーク(ネットワーク)
- VLANを用いた複数パスを持つL2 Ethernetネットワーク(高性能システム)
- VLANを用いた複数パスを持つL2 Ethernetネットワーク
- MP1通信モデルに適した通信APIの設計と実装(HPC-7 : 通信ライブラリ)(2003年並列/分散/協調処理に関する『松江』サマー・ワークショップ(SWoPP松江2003))
- GridMPI-通信遅延を考慮したMPI通信ライブラリの設計(HPC-7 : 通信ライブラリ)(2003年並列/分散/協調処理に関する『松江』サマー・ワークショップ(SWoPP松江2003))
- WAN上の複数クラスタによる単一MPIアプリケーションの性能評価
- グリッドデータファームとGNET-1による日米間高速ファイル複製(グリッド基盤システム)
- AISTスーパークラスタP-32のLinpackによる性能評価(HPC-8 : クラスタ)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 性能を保証する計算・ネットワーク資源のコアロケーション手法の評価
- 高品質分散実行環境のための計算・ネットワーク資源のグローバルスケジューリング手法(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- スイッチでタグ付けを行うVLANルーティング法(ネットワーク)
- スイッチでタグ付けを行うVLANルーティング法の提案と評価(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- スイッチでタグ付けを行うVLANルーティング法の提案と評価(ネットワーク, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- VLANを用いたマルチパスEthernetにおける経路構築法(ARC-7: ネットワークインタフェースとルーティング, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- ネットワークテストベッドGNET-1のSNMPツール(HPC-10 : ネットワークとスケジューリング)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- PVFS-PMの実装と性能評価
- PluS予約機構のCondorへの適用(通信とグリッドII)
- グローバルスケジューリングのための計算資源予約管理機構(グリッド)
- 事前予約機能を持つローカルスケジューリングシステムの設計と実装(ジョブスケジューリング, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- Globus Toolkit 4におけるWSRFサービス記述のアノテーションによる補助(HPC-17 : グリッド)
- ハードウェアネットワークエミュレータを用いたTCP/IP通信の評価(HPC-4 : ネットワーク)(2003年並列/分散/協調処理に関する『松江』サマー・ワークショップ(SWoPP松江2003))
- AISTスーパークラスタ構想
- PVFS-NFS proxyの実装と性能評価(ストレージシステムと入出力)
- PVFSの性能評価とプラットフォームの検討
- 動的ネットワークパスプロビジョニングの相互運用技術 : G-lambdaシステムとGLIF Feniusの連携(ネットワーク管理/制御/設計)
- 合成ベンチマークによるMapReduce処理系SSSの性能評価
- SSDを用いたオブジェクトベース・ストレージデバイスのI/O性能制御
- 仮想計算機モニタ・バイパス型ネットワークに対する通信制御方式
- 仮想計算機モニタ・バイパス型ネットワークに対する通信制御方式
- 合成ベンチマークによるMapReduceのI/O性能評価手法
- 多種資源を対象とするオンラインコアロケーション手法の提案
- クラウドを利用した電力可視化システムの構築
- クラウドを利用した電力可視化システムの構築
- マルチドメインクラウド資源管理フレームワーク(スマートな社会を支えるインターネットアーキテクチャ論文)
- インターネット上のコンテンツ分布を考慮した光回線交換方式及びCDN方式の採用による省電力化の評価(スマートな社会を支えるインターネットアーキテクチャ論文)
- MapReduce処理系SSS上のSawzall処理系の実装(システムパフォーマンス,2011年並列/分散/協調処理に関する『鹿児島』サマー・ワークショップ(SWoPP鹿児島2011))
- MapReduce処理系SSSのPrefixSpan法による評価
- MapReduce処理系SSSの実アプリケーションによる評価(数値解析,ネットワーク,クラウド及び一般)
- MapReduce処理系SSSにおけるContinuous MapReduceの実装
- 省電力化のためのマッチングに基づく仮想計算機パッキングアルゴリズム
- 学術ネットワークにおけるオンデマンドネットワーク制御と国際接続
- ユーザによる明示的な予約に基づきI/O性能を保証する分散ストレージシステム (コンピューティングシステム Vol.5 No.3)
- 1-D-3 消費電力削減のための仮想計算機パッキング問題に対する解法(節電)
- 仮想マシンに対して透過的なClient Mobile IPv6トンネリング機構(多様な社会要請に適応可能なインターネットアーキテクチャ論文)
- インタークラウドにおける仮想インフラ構築システムの提案
- NSI相互運用試験のためのGridARSによるネットワーク資源管理(網監視・運用)
- MapReduce処理系SSSに向けたKVSの改良(ディペンダブルコンピューティングシステム及び一般)
- MapReduce処理系SSSに向けたKVSの改良(ディペンダブルコンピューティングシステム及び一般)
- 異種クラスタを跨がる仮想マシンマイグレーション機構
- MapReduce処理系SSSにおけるKey Value Storeアクセス手法の改良(クラウド,2012年並列/分散/協調処理に関する『鳥取』サマー・ワークショップ(SWoPP鳥取2012))