ポストペタスケール高性能計算のためのオンメモリストレージの設計
スポンサーリンク
概要
- 論文の詳細を見る
ポストペタスケールの計算機ではノード数が極端に大きくなることから、ユーザに対して故障を完全に隠蔽する Fault Tolerance は現実的ではなく、ユーザプログラムに故障を提示し対処を委譲する Fault Resilience を持つ計算機構が必要となる。しかし故障への対処は非常に複雑な処理であり、適切な抽象界面を設定することでユーザへの負荷が過大にならないよう工夫する必要がある。われわれは、問題を多数の副問題に分割し、副問題単位での Fault Resilience ポリシを設定することが可能な計算機構 Falanx を提案している。本稿では Falanx の主要構成要素の一つであるオンメモリストレージの設計について述べる。提案オンメモリストレージはハッシュによってノード間分散を行なうキーバリューストレージで、レプリケーションによる耐故障性を持つ。このストレージのプロトタイプを既存のキーバリューストレージである Kyoto Cabinet と ULFM (User Level Fault Mitigation) 機能を持つ MPI 実装をを用いて実装し、仮想環境において予備的評価を行った。その結果、書き出しスループットはプライマリ Ack 時で 140MByte/s 程度、読み込みスループットは最大 120MByte/s 程度であること、単体ノードの障害に対して頑健であることを確認した。
- 2013-07-24
著者
-
高野 了成
産業技術総合研究所
-
高野 了成
東京農工大学大学院工学研究科
-
竹房 あつ子
お茶の水女子大学
-
池上 努
産業技術総合研究所
-
中田 秀基
電総研
-
田中 良夫
産業技術総合研 情報技術研究部門
-
中田 秀基
産業技術総合研
-
Takano Ryousei
National Institute of Advanced Industrial Science and Technology
関連論文
- ネットワークテストベッドGtrcNET-10p3におけるパケットキャプチャおよびルータ機能の実装(応用2)
- IPフロー単位のトラフィック制御設定の自動化機構(次世代・新世代ネットワークアーキテクチャ,トラヒック計測・制御,サービス品質,ネットワーク管理,一般)
- 10ギガビットイーサネットを用いた精密なパケットスケジューリング機構の開発(ポストIPネットワーキング,ネットワークモデル,インターネットトラヒック,TCP/IP,マルチメディア通信,ネットワーク管理,リソース管理,プライベートネットワーク,NW安全性及び一般)
- 精密な帯域共有とトラフィック隔離を実現するパケットスケジューリング方式(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 高品質分散実行環境のための計算・ネットワーク資源のグローバルスケジューリング手法(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ネットワーク帯域予約とOS仮想化機構を用いた分散アプリケーション実行環境に向けて(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 周回積分に基づく非線形固有値問題の解法 (数値解析における理論・手法・応用)
- ソフトウェアによる精密ペーシング方式を用いたTCP通信性能の改善((フォトニック)IPネットワーク技術, (光)ノード技術, WDM技術, 一般)
- GridFMO : グリッド環境を用いた大規模量子化学計算(グリッド)
- Ninf-G2の性能評価 : 科学技術計算における事例(HPC-2 : グリッド(1))(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- レイヤの異なる複数ドメインを跨いだ動的ネットワークパス構築技術の実証実験(ネットワーク管理/制御/設計)
- 動的ネットワークパスプロビジョニングの相互運用技術 : G-lambdaシステムとGLIF Feniusの連携(ネットワーク管理/制御/設計)
- 複数ドメイン環境でQoSを保証するクラウドのための資源管理フレームワーク(クラウド、グリッド・P2P)
- ネットワーク帯域予約を用いた分散アプリケーション実行環境の構築(クラウド、グリッド・P2P)
- グリッド環境におけるスーパースケジューラ連携手法の検討(ジョブスケジューリング, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))
- グリッド環境におけるスーパースケジューラ連携手法の検討
- グリッド計算環境でのデッドラインを考慮したスケジューリング手法の性能(計算機システム)
- Grid Datafarmにおけるスケジューリング・複製手法の性能評価(グリッド基盤ソフト)
- Grid Datafarmにおけるスケジューリング・複製手法の性能評価
- グローバルコンピューティングのためのスケジューリングフレームワーク(並列処理)
- グローバルコンピューティングシステムのシミュレーションによる評価 (並列処理)
- グローバルコンピューティングシミュレータの概要
- Ninfシステムにおけるジョブスケジューラの実装と予備的評価
- 複数クライアントによるLAN/WANでのNinfの性能(並列処理)
- 高性能広域計算システムNinfのスケジューリングに関する予備的考察
- ネットワーク数値情報システムNinf : マルチクライアント環境での性能
- GridMPI^ Version 1.0の概要(HPC-10: 通信ライブラリ)
- 精密な帯域共有とトラフィック隔離を実現するパケットスケジューリング方式(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 精密な帯域共有とトラフィック隔離を実現するパケットスケジューリング方式 (計算機アーキテクチャ・ハイパフォーマンスコンピューティング・「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ソフトウェアによる精密ペーシング機構の提案と評価
- 並列アプリケーション実行におけるTCP/IP通信挙動の解析 (インターネットコンファレンス2003論文集)
- グリッド上のコレクティブ通信アルゴリズム
- ストリーミング配信に対するソフトウェアペーシング方式の効果(有線/無線シームレスネットワーク,ネットワーク制御,無線通信一般)
- ギャップパケットを用いたソフトウェアによる精密ペーシング方式(ネットワーク)
- MPIライブラリと協調するTCP通信の実現(ネットワーク)
- IBM pSeriesにおけるGridMPIの実装と性能評価(通信ライブラリ, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))
- IBM pSeries における GridMPI の実装と性能評価
- GridMPIのためのTCP/IP輻輳制御実装方式の検討(OS-3:ネットワーク)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 高速フラッシュメモリに適したキーバリューストアの予備的評価
- 性能を保証する分散実行環境のためのオンラインコアロケーション手法
- クラウドコンピューティングの性能評価
- クラウドコンピューティングの性能評価
- 高速フラッシュメモリ向けMapReduceフレームワークの実現に向けて
- LinuxのTCP/IP通信における高帯域高遅延ネットワーク上で性能低下を引き起こす通信中断の原因解析と改良 (インターネットコンファレンス2007論文集)
- ネットワーク帯域予約とOS仮想化機構を用いた分散アプリケーション実行環境に向けて(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ネットワーク転送時におけるノード消費電力削減
- ネットワーク転送時におけるノード消費電力削減
- プライベートアドレスを有するクラスタ群のための高性能MPI通信リレー機構
- 仮想計算機パッキングへの最適化手法の適用(2010年並列/分散/協調処理に関する『金沢』サマー・ワークショップSWoPP2010)
- トラフィックの性質情報に基づいた動的ネットワーク選択手法(ポストIPネットワーキング,ネットワークモデル,インターネットトラヒック,TCP/IP,マルチメディア通信,ネットワーク管理,リソース管理,プライベートネットワーク, NW安全性,及び一般)
- ストリーミングメディアのための優先度に基づくキャッシュ機構(OS開発環境)
- 大規模資源の管理・制御に関する技術の実証実験 : 新世代ネットワークプラットフォームの実現に向けて(ネットワーク品質,トラヒック計測,サービス品質,一般)
- 超高精細映像配信サービスのためのストレージ・ネットワーク統合資源管理方式の提案(ブロードバンドアクセス,ホームネットワーク,ネットワークサービス,通信利用アプリケーション,一般)
- High-resolution timer-based packet pacing mechanism on the Linux operating system (インターネットコンファレンス2010(IC2010)論文集)
- グリッドデータファームとGNET-1による日米間高速ファイル複製(グリッド基盤システム)
- 性能を保証する計算・ネットワーク資源のコアロケーション手法の評価
- グローバルコンピューティングシミュレータの概要
- ストリーミングメディアの参照特性に基づく入出力削減方式(システムソフトウェア設計・構成論)
- ストリーミングデータの参照特性に基づく入出力削減方式の提案
- 仮想マシンを用いたos構成法とその通信機構
- 仮想マシンを用いたOS構成法とその通信機構
- メディア変換機構を提供する永続オブジェクトシステムの設計と実現
- メディア変換機構を提供する永続オブジェクトシステムの設計と実現
- OS/omicron V4におけるデバッグ支援環境の設計
- 多態的表現を可能にする永続オブジェクト管理機構
- 多態的表現を可能にする永続オブジェクト管理機構
- OS/omicron 第4版のデータ管理機構「意紙」サーバにおけるリンク機構の設計と実現
- OS/omicron第4版におけるデータ管理機構の設計と実現
- OS/omicron第4版におけるデータ管理機構の設計と実現
- 動的ネットワークパスプロビジョニングの相互運用技術 : G-lambdaシステムとGLIF Feniusの連携(ネットワーク管理/制御/設計)
- 5F-6 OS/omicron第4版におけるビルド管理
- OS/omicron第4版におけるデータ管理構造の設計と実現
- BS-4-41 A Demonstration of Management and Control of Resources in Large-scale Network Environments(BS-4. Network Design, Management and Control for Future Networked Systems)
- 仮想計算機モニタ・バイパス型ネットワークに対する通信制御方式
- 仮想計算機モニタ・バイパス型ネットワークに対する通信制御方式
- 多種資源を対象とするオンラインコアロケーション手法の提案
- Condor VM ユニバースを利用した HPC Cloud の試作
- クラウドを利用した電力可視化システムの構築
- クラウドを利用した電力可視化システムの構築
- マルチドメインクラウド資源管理フレームワークの実証実験(クラウド)
- グローバルコンピューティングシミュレータの概要
- マルチドメインクラウド資源管理フレームワーク(スマートな社会を支えるインターネットアーキテクチャ論文)
- 省電力化にむけた仮想計算機パッキングアルゴリズムの提案(仮想マシン,2011年並列/分散/協調処理に関する『鹿児島』サマー・ワークショップ(SWoPP鹿児島2011))
- ポストペタスケール高性能計算に向けた階層的プログラミングモデルの提案
- IBM pSeriesにおけるGridMPIの実装と性能評価(通信ライブラリ, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))
- ポストペタスケール計算機環境に向けた高可用分散協調セルフスケジューリング機構の提案
- 省電力化のためのマッチングに基づく仮想計算機パッキングアルゴリズム
- Cassandraによる局所性を考慮した分散並列処理の提案
- 1-D-3 消費電力削減のための仮想計算機パッキング問題に対する解法(節電)
- Cassandraによる局所性を考慮した分散並列処理の提案 (データ工学)
- インタークラウドにおける仮想インフラ構築システムの提案
- ページキャッシュの復元とその他のメモリ転送の並列動作による遠隔地ライブマイグレーション高速化
- NSI相互運用試験のためのGridARSによるネットワーク資源管理(網監視・運用)
- 異種クラスタを跨がる仮想マシンマイグレーション機構
- パーシステントストレージを利用した高可用分散協調スケジューラの実装
- ポストペタスケール高性能計算のためのオンメモリストレージの設計
- グリッド環境におけるスーパースケジューラ連携手法の検討(ジョブスケジューリング, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))
- Cassandraによる局所性を考慮した分散並列処理の提案(ビッグデータ,ビッグデータとソーシャルコンピューティング,及び一般)
- 動的ネットワークパス構築と連携したエッジオーバレイ帯域制御(フロー制御)
- NSI相互運用試験のためのGridARSによるネットワーク資源管理