パーシステントストレージを利用した高可用分散協調スケジューラの実装
スポンサーリンク
概要
- 論文の詳細を見る
階層型タスク並列処理は,タスクの再実行や冗長実行により耐障害性を備えたプログラムが設計できるため,ポストペタスケール高性能計算における有望なプログラミングモデルの 1 つと考えられている.我々は,耐障害性を備えたアプリケーションプログラムの開発を支援にする耐障害アプリケーションフレームワーク Falanx を提案している.このようなアプリケーションフレームワークは,計算に必要となるデータを障害から保全するデータストア機構と計算ノードの健全性を監視しつつ適切に計算を実行する資源管理機構からなる.これらを,ポストペタスケール計算機環境においてスケーラブルでかつ,それら自身が耐故障性を持つように設計・実装する必要がある.本研究では,耐障害アプリケーションフレームワークのポストペタスケール計算機環境での性能特性を検証して技術的課題を明らかにすることを目的とし,試験実装となるパーシステントストレージを利用した高可用分散協調スケジューラを設計・開発する.本スケジューラは既に実装を進めている資源管理機構と新たに追加したデータストア機構で構成され,Apache ZooKeeper と Apache Cassandra を用いて実装することで耐障害性を実現する.本スケジューラを用いた予備実験から,処理中に計算ノードが落ちてしまった場合も,自動的にタスクが再実行されアプリケーションプログラムが継続実行できることを確認した.
- 2013-07-24
著者
関連論文
- 分散環境下における情報システムの信頼性(ストレージの信頼性)
- Cell/B.E.プロセッサによるステレオマッチングソフトウェアの高速化(最適化・高速化)
- 高品質分散実行環境のための計算・ネットワーク資源のグローバルスケジューリング手法(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ネットワーク帯域予約とOS仮想化機構を用いた分散アプリケーション実行環境に向けて(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 予約利用可能なオブジェクトベース・ストレージの設計(ストレージシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- Relis-G : 計算グリッドのための遠隔ライブラリインストール機構(グリッド)
- GridRPCシステムにおけるリモートプログラムシッピング機構(グリッド)
- GridRPCシステムにおけるリモートプログラムシッピング機構
- 周回積分に基づく非線形固有値問題の解法 (数値解析における理論・手法・応用)
- Tsukuba-GAMA : E-サイエンス基盤のためのユーザ管理システムの設計と実装(グリッド)
- MapReduceにおけるRDF-DB処理に適したデータ分散格納方法の提案(HPC-14:分散処理,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- GEO Grid : 地球観測グリッドの設計と実装(分散処理とシステムソフトウェア)
- GridFMO : グリッド環境を用いた大規模量子化学計算(グリッド)
- グリッドにおける計算資源と光パスネットワーク資源のコアロケーション実験(グリッド,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- グリッドにおける計算資源と光パスネットワーク資源のコアロケーション実験(グリッド, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- Access Gridの構築とGrid上での国際会議
- Tsukuba-GAMA: e-サイエンスのためのユーザ管理システムの設計と実装(支援・管理システム,システム開発論文)
- 複数拠点にまたがるe-Scienceアプリケーション環境構築を目的としたソフトウェア導入・管理機構(並列・分散システム,システム開発論文)
- WSRFに基づく情報サービスのXACMLによるアクセス制御(HPC-17 : グリッド)
- オーバーレイスケジューラJojo3のグリッドRPCへの適用(HPC-6:グリッド,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- オーバレイスケジューラJojo3の提案(Grid,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2008))
- Ninf-G2の性能評価 : 科学技術計算における事例(HPC-2 : グリッド(1))(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- グリッドチャレンジテストベッドの構築と運用 : グリチャレテストベッドの作り方(HPC-3 : 大規模運用システム(1))
- 複数ドメイン環境でQoSを保証するクラウドのための資源管理フレームワーク(クラウド、グリッド・P2P)
- ネットワーク帯域予約を用いた分散アプリケーション実行環境の構築(クラウド、グリッド・P2P)
- グリッド環境におけるスーパースケジューラ連携手法の検討(ジョブスケジューリング, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))
- グリッド環境におけるスーパースケジューラ連携手法の検討
- Sun Fire X4500とGfarmを用いた大規模ストレージの構築(グリッドI)
- GridRPCを用いたタスクファーミングAPIの試作(グリッド)
- グリッド計算環境でのデッドラインを考慮したスケジューリング手法の性能(計算機システム)
- Grid Datafarmにおけるスケジューリング・複製手法の性能評価(グリッド基盤ソフト)
- Gridポータル構築ツールキット Ninf-Portal
- Grid Datafarmにおけるスケジューリング・複製手法の性能評価
- Grid RPCシステムのAPIの提案
- グローバルコンピューティングのためのスケジューリングフレームワーク(並列処理)
- グローバルコンピューティングシステムのシミュレーションによる評価 (並列処理)
- Ninfによる遠隔計算資源アクセスシステムの構築とグローバルコンピューティングシステムの性能評価
- グローバルコンピューティングシミュレータの概要
- Ninfシステムにおけるジョブスケジューラの実装と予備的評価
- 複数クライアントによるLAN/WANでのNinfの性能(並列処理)
- 高性能広域計算システムNinfのスケジューリングに関する予備的考察
- ネットワーク数値情報システムNinf : マルチクライアント環境での性能
- 事前予約機構のポリシ記述による制御(グリッドと数値計算)
- グローバルスケジューリングのためのローカル計算資源管理機構
- 事前予約機能を持つローカルスケジューリングシステムの設計と実装(ジョブスケジューリング,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- オーバレイスケジューラJojo3の提案(Grid,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2008))
- Grid PSE Builder: グリッドにおける汎用PSE構築ツールの開発(HPC-5 : グリット(1))(2003年並列/分散/協調処理に関する『松江』サマー・ワークショップ(SWoPP松江2003))
- 性能を保証する分散実行環境のためのオンラインコアロケーション手法
- クラウドコンピューティングの性能評価
- クラウドコンピューティングの性能評価
- 異なるアーキテクチャのメニーコアプロセッサにおけるステレオマッチングプログラムの高速化と性能評価
- 匿名性と不正者の特定を両立させるP2P環境用認証方式(セキュリティ)
- 匿名相互証明書とP2P通信を用いる認証方式(OS-1: セキュリティ, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- ホモジニアス・ヘテロジニアスマルチコアによるDEM生成の高速化と性能評価
- ホモジニアス・ヘテロジニアスマルチコアによるDEM生成の高速化と性能評価
- 資源予約と連携した階層型分散資源モニタリングシステムの設計(クラスタとグリッド技術)
- 仮想計算機パッキングへの最適化手法の適用(2010年並列/分散/協調処理に関する『金沢』サマー・ワークショップSWoPP2010)
- 実大三次元振動実験のためのデータリポジトリシステムの設計(グリッド,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- 実大三次元振動実験のためのデータリポジトリシステムの設計(グリッド, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- グリッドRPCシステムのクラウド環境への適用
- WSRFに基づく情報サービスのXACMLによるアクセス制御
- 複数サイトにまたがる仮想クラスタの構築(HPC-14 : 分散処理)
- Access Gridの構築とGrid上での国際会議
- Network Enabled ServerのWorld-wide Gridにおける性能
- メモリバスアクセス率に基づくSMP-PCクラスタの性能評価
- SMPクラスタ向けOpenMPコンパイラ
- SMPクラスタ向けネットワーク・インタフェースAM通信 (並列処理)
- COMPaS : Pentium Proを用いたSMPクラスタとその評価 (並列処理)
- Ninfによる遠隔計算資源アクセスシステムの構築とグローバルコンピューティングシステムの性能評価
- Ninfによる遠隔計算資源アクセスシステムの構築とグローバルコンピューティングシステムの性能評価
- アクセス性能を保証する並列ファイルシステムの提案とストレージサーバの設計
- 予約利用可能なオブジェクトベース・ストレージの設計(ストレージシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- グレブナ基底を用いない連立代数方程式の非線形固有値問題への変換法と非線形固有値問題の解法について
- 大規模資源の管理・制御に関する技術の実証実験 : 新世代ネットワークプラットフォームの実現に向けて(ネットワーク品質,トラヒック計測,サービス品質,一般)
- 超高精細映像配信サービスのためのストレージ・ネットワーク統合資源管理方式の提案(ブロードバンドアクセス,ホームネットワーク,ネットワークサービス,通信利用アプリケーション,一般)
- 性能を保証する計算・ネットワーク資源のコアロケーション手法の評価
- Grid : 広域分散並列処理環境での高精度分子シミュレーション : C_分子のレプリカ交換モンテカルロ(グリッド応用)
- グローバルコンピューティングシミュレータの概要
- 耐障害性を考慮したNinf-Gアプリケーションの実装と評価(グリッド)
- 動的ネットワークパスプロビジョニングの相互運用技術 : G-lambdaシステムとGLIF Feniusの連携(ネットワーク管理/制御/設計)
- 多種資源を対象とするオンラインコアロケーション手法の提案
- Condor VM ユニバースを利用した HPC Cloud の試作
- マルチドメインクラウド資源管理フレームワークの実証実験(クラウド)
- グローバルコンピューティングシミュレータの概要
- マルチドメインクラウド資源管理フレームワーク(スマートな社会を支えるインターネットアーキテクチャ論文)
- 省電力化にむけた仮想計算機パッキングアルゴリズムの提案(仮想マシン,2011年並列/分散/協調処理に関する『鹿児島』サマー・ワークショップ(SWoPP鹿児島2011))
- ポストペタスケール高性能計算に向けた階層的プログラミングモデルの提案
- 2S1p01 大規模ゲノム情報の産業利用(大規模ゲノム情報の生物工学へのインパクト,シンポジウム)
- ポストペタスケール計算機環境に向けた高可用分散協調セルフスケジューリング機構の提案
- 省電力化のためのマッチングに基づく仮想計算機パッキングアルゴリズム
- Cassandraによる局所性を考慮した分散並列処理の提案
- 1-D-3 消費電力削減のための仮想計算機パッキング問題に対する解法(節電)
- Cassandraによる局所性を考慮した分散並列処理の提案 (データ工学)
- インタークラウドにおける仮想インフラ構築システムの提案
- NSI相互運用試験のためのGridARSによるネットワーク資源管理(網監視・運用)
- パーシステントストレージを利用した高可用分散協調スケジューラの実装
- ポストペタスケール高性能計算のためのオンメモリストレージの設計
- グリッド環境におけるスーパースケジューラ連携手法の検討(ジョブスケジューリング, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))
- Cassandraによる局所性を考慮した分散並列処理の提案(ビッグデータ,ビッグデータとソーシャルコンピューティング,及び一般)
- Accurate Molecular Simulation on the Grid