ポストペタスケール計算機環境に向けた高可用分散協調セルフスケジューリング機構の提案
スポンサーリンク
概要
- 論文の詳細を見る
ポストペタスケール計算機環境では,階層型タスク並列が有望なプログラミングモデルの 1 つであると考えられている.タスク並列型アプリケーションでは,タスクの再実行や冗長実行により,耐障害性を備えるように設計することは比較的容易であるが,その実装は容易ではない.よって,我々はそのようなアプリケーションの開発を容易にする耐障害アプリケーションフレームワークの開発を目指している.アプリケーションフレームワークでは,故障箇所を避けながら適切な計算ノード上でタスクを実行する資源管理機構が必要となるが,ポストペタスケール計算機環境でのスケーラビリティや,資源管理機構そのものの耐障害性,資源管理情報の永続化が課題となる.本稿では,スケーラブルかつ可用性の高い分散協調セルフスケジューリング機構を提案・設計する.提案する資源管理機構では,複数資源管理プロセスを分散協調させてタスクキューを管理し,タスクキュー内のタスクを各計算ノード上の実行デーモンプロセスが自律的に取得して実行する.また,各計算ノードの死活監視を行い,実行中に故障が発生した場合は選択的に再実行または削除する仕組みを提供する.資源管理プロセスの耐障害性と資源管理情報の永続化の実現方法を検討するため, Apache ZooKeeper を用いてこれらの機能を試験実装し,提案資源管理機構の妥当性と課題の明確化を行う.
- 2012-09-26
著者
-
田中 良夫
産業技術総合研究所
-
中田 秀基
産業技術総合研究所
-
中田 秀基
電子技術総合研究所
-
竹房 あつ子
お茶の水女子大学
-
竹房 あつ子
産業技術総合研究所情報技術研究部門
-
池上 努
産業技術総合研究所
-
中田 秀基
電総研
-
田中 良夫
産業技術総合研 情報技術研究部門
-
中田 秀基
産業技術総合研
-
中田 秀基
独立行改法人産業技術総合研究所
関連論文
- 分散環境下における情報システムの信頼性(ストレージの信頼性)
- Cell/B.E.プロセッサによるステレオマッチングソフトウェアの高速化(最適化・高速化)
- 高品質分散実行環境のための計算・ネットワーク資源のグローバルスケジューリング手法(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ネットワーク帯域予約とOS仮想化機構を用いた分散アプリケーション実行環境に向けて(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 仮想計算機遠隔マイグレーションに対応するストレージ提供手法の比較検討(ストレージシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 予約利用可能なオブジェクトベース・ストレージの設計(ストレージシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- Relis-G : 計算グリッドのための遠隔ライブラリインストール機構(グリッド)
- GridRPCシステムにおけるリモートプログラムシッピング機構(グリッド)
- GridRPCシステムにおけるリモートプログラムシッピング機構
- ポータビリティの高いジョブスケジューリングシステム設計と実装(HPC-10 : ネットワークとスケジューリング)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- Tsukuba-GAMA : E-サイエンス基盤のためのユーザ管理システムの設計と実装(グリッド)
- Tsukuba-GAMA--e-サイエンスのためのユーザ管理システムの設計と実装 (システム開発論文特集)
- MapReduceにおけるRDF-DB処理に適したデータ分散格納方法の提案(HPC-14:分散処理,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- GEO Grid : 地球観測グリッドの設計と実装(分散処理とシステムソフトウェア)
- GridFMO : グリッド環境を用いた大規模量子化学計算(グリッド)
- グリッドにおける計算資源と光パスネットワーク資源のコアロケーション実験(グリッド,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- グリッドにおける計算資源と光パスネットワーク資源のコアロケーション実験(グリッド, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- Access Gridの構築とGrid上での国際会議
- Tsukuba-GAMA: e-サイエンスのためのユーザ管理システムの設計と実装(支援・管理システム,システム開発論文)
- 複数拠点にまたがるe-Scienceアプリケーション環境構築を目的としたソフトウェア導入・管理機構(並列・分散システム,システム開発論文)
- NAREGIミドルウェアβ-gLite間における相互ジョブ起動実験(グリッド,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- ファイルへのアクセスの自動分散を行うグリッド用分散ファイルシステム(グリッド(1), 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))
- ファイルへのアクセスの自動分散を行うグリッド用分散ファイルシステム
- WSRFに基づく情報サービスのXACMLによるアクセス制御(HPC-17 : グリッド)
- オーバーレイスケジューラJojo3のグリッドRPCへの適用(HPC-6:グリッド,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- オーバレイスケジューラJojo3の提案(Grid,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2008))
- Ninf-G2の性能評価 : 科学技術計算における事例(HPC-2 : グリッド(1))(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- グリッドチャレンジテストベッドの構築と運用 : グリチャレテストベッドの作り方(HPC-3 : 大規模運用システム(1))
- 複数ドメイン環境でQoSを保証するクラウドのための資源管理フレームワーク(クラウド、グリッド・P2P)
- Sun Fire X4500とGfarmを用いた大規模ストレージの構築(グリッドI)
- GridRPCを用いたタスクファーミングAPIの試作(グリッド)
- Gridポータル構築ツールキット Ninf-Portal
- Grid RPCシステムのAPIの提案
- 事前予約機構のポリシ記述による制御(グリッドと数値計算)
- グローバルスケジューリングのためのローカル計算資源管理機構
- 事前予約機能を持つローカルスケジューリングシステムの設計と実装(ジョブスケジューリング,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- オーバレイスケジューラJojo3の提案(Grid,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2008))
- Grid PSE Builder: グリッドにおける汎用PSE構築ツールの開発(HPC-5 : グリット(1))(2003年並列/分散/協調処理に関する『松江』サマー・ワークショップ(SWoPP松江2003))
- 性能を保証する分散実行環境のためのオンラインコアロケーション手法
- クラウドコンピューティングの性能評価
- クラウドコンピューティングの性能評価
- 異なるアーキテクチャのメニーコアプロセッサにおけるステレオマッチングプログラムの高速化と性能評価
- 匿名性と不正者の特定を両立させるP2P環境用認証方式(セキュリティ)
- 匿名相互証明書とP2P通信を用いる認証方式(OS-1: セキュリティ, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- 気象予報グリツドポータルの開発
- OpenGRコンパイラの設計および開発
- GlobusによるGrid RPCシステムの実装と評価
- ホモジニアス・ヘテロジニアスマルチコアによるDEM生成の高速化と性能評価
- ホモジニアス・ヘテロジニアスマルチコアによるDEM生成の高速化と性能評価
- 資源予約と連携した階層型分散資源モニタリングシステムの設計(クラスタとグリッド技術)
- 実大三次元振動実験のためのデータリポジトリシステムの設計(グリッド,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- 実大三次元振動実験のためのデータリポジトリシステムの設計(グリッド, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- グリッドRPCシステムのクラウド環境への適用
- WSRFに基づく情報サービスのXACMLによるアクセス制御
- 複数サイトにまたがる仮想クラスタの構築(HPC-14 : 分散処理)
- Access Gridの構築とGrid上での国際会議
- Network Enabled ServerのWorld-wide Gridにおける性能
- アクセス性能を保証する並列ファイルシステムの提案とストレージサーバの設計
- 予約利用可能なオブジェクトベース・ストレージの設計(ストレージシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- グリッドコンピューティングにおけるセキュリティモデル : NAREGIにおける実装例の報告(インターネット及び一般)
- グリッドコンピューティングにおけるセキュリティモデル : NAREGIにおける実装例の報告(インターネット及び一般)
- 超大規模材料シミュレーションのためのAsia-Pacific GRID戦略的活用構想(計算力学・工学におけるマルチスケールモデリング,理学と工学,科学と技術をつなぐマルチスケールモデリング)
- 大規模資源の管理・制御に関する技術の実証実験 : 新世代ネットワークプラットフォームの実現に向けて(ネットワーク品質,トラヒック計測,サービス品質,一般)
- 仮想クラスタに対するIPストレージの提供方法の比較(仮想クラスタ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 仮想クラスタに対するIPストレージの提供方法の比較(仮想クラスタ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- ホモジニアス・ヘテロジニアスマルチコアによるDEM生成の高速化と性能評価
- ホモジニアス・ヘテロジニアスマルチコアによるDEM生成の高速化と性能評価
- 性能を保証する計算・ネットワーク資源のコアロケーション手法の評価
- 高品質分散実行環境のための計算・ネットワーク資源のグローバルスケジューリング手法(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- Grid : 広域分散並列処理環境での高精度分子シミュレーション : C_分子のレプリカ交換モンテカルロ(グリッド応用)
- PluS予約機構のCondorへの適用(通信とグリッドII)
- グローバルスケジューリングのための計算資源予約管理機構(グリッド)
- 事前予約機能を持つローカルスケジューリングシステムの設計と実装(ジョブスケジューリング, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- 地球観測グリッドにおけるセキュリティ基盤の設計と実装
- Globus Toolkit 4におけるWSRFサービス記述のアノテーションによる補助(HPC-17 : グリッド)
- 動的に計算量が変化する大規模長時間実行Gridアプリケーションの実現(グリッド)
- MPIとGridRPCを利用した大規模Gridアプリケーションの開発と実行:Hybrid QM/MDシミュレーション(グリッドアプリケーション)
- Ninf-G2 : 大規模Grid環境での利用に即した高機能,高性能GridRPCシステムの実装と評価(グリッド)
- Ninf-G version2の実装および性能評価(グリッド基盤システム)
- Grid環境上における気象予報シミュレーションシステムの構築(グリッド応用)
- Ninf-G2: 大規模環境での利用に即した高機能,高性能GridRPCシステム(HPC-5 : グリット(1))(2003年並列/分散/協調処理に関する『松江』サマー・ワークショップ(SWoPP松江2003))
- 耐障害性を考慮したNinf-Gアプリケーションの実装と評価(グリッド)
- オーバレイ構築ツールキットOverlay Weaver(インターネットシステム)
- 計算機資源の流通および集約のためのP2Pミドルウェア(グリッドシステム)
- 計算機資源の流通および集約のためのP2Pミドルウェア
- 「計算」応用の開拓 : 情報のWebからの計算・デバイス・ソフトウェアのグリッドへ(インタネットの新しい応用の開拓を目指して)
- Ninf-Gによるグリッド数値計算ライブラリーの構築(グリッド)
- アジア太平洋グリッドテストベッドの構築
- グリッドRPCシステムNinf-Gの可搬性および適応性の改善(数値計算とコンパイラ)
- GEO Grid の構築に向けたストレージシステムの予備評価(HPC-16 : 性能評価)
- グリッドRPCシステムNinf-Gのリモート起動手法の改良(Session 3:Cluster/Grid)
- 多種資源を対象とするオンラインコアロケーション手法の提案
- Condor VM ユニバースを利用した HPC Cloud の試作
- マルチドメインクラウド資源管理フレームワークの実証実験(クラウド)
- 126 グリッドにおける大規模計算向けのQoS資源管理機構の開発(OS1.固体物理/流体物理のマルチフィジックス/マルチスケール解析(7),オーガナイズドセッション)
- GridRPCにおける複数ノードにまたがるTask Sequencingの実現(グリッド)
- マルチドメインクラウド資源管理フレームワーク(スマートな社会を支えるインターネットアーキテクチャ論文)
- ポストペタスケール高性能計算に向けた階層的プログラミングモデルの提案
- ポストペタスケール計算機環境に向けた高可用分散協調セルフスケジューリング機構の提案
- GridRPCシステムの比較 : アプリケーション開発における違い(グリッド(2), 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))