ワークフローアプリケーションに対する計算資源割り当ての最適化
スポンサーリンク
概要
- 論文の詳細を見る
大規模データを扱うデータインテンシブアプリケーションは近年増加の一途を辿っており,これらの爆発的に増加するデータを分散並列環境で解析的に処理するフレームワークとしてワークフローシステムが注目されている.ワークフローは複数のタスクで構成されており,それらのタスク間での依存関係をユーザが定義して処理が並列計算環境上で実行されるが,ワークフローそれ自体は目的に応じて構成されるため,実行したいワークフローがその実行環境でどのように配置すれば最適に実行可能かを知ることは難しい.また,クラウドのように動的に計算資源をスケールアウト/イン可能なシステムにおいては,ワークフローの特徴や処理に応じてリソースを増減させることでユーザ・システム側の双方において最適な実行が可能となる.未知の環境に対してもワークフローの性能を利用する環境それぞれで最適化させるために,汎用的に適応可能な性能モデルの構築が必要不可欠である.本稿では,ワークフローアプリケーションの性能モデルを構築し,TSUBAME2.0とAmazon EC2/S3において天文データ解析を行うMontageに対してモデルを適応させた.小規模なワークフローの実行結果をもとに計算性能やI/O性能を見積もり,より大規模なワークフローでの性能の予測を行った.その結果,今回構築したモデル化では表現しきれていないパラメータの影響,特に中間ファイルがメモリキャッシュにのる場合やメタデータファイルへのアクセスコストにより,正確には性能を見積もることは出来なかった.
- 2011-03-08
著者
-
松岡 聡
国立情報学研究所
-
松岡 聡
東京工業大学
-
佐藤 仁
東京工業大学
-
松岡 聡
東京工業大学:国立情報学研究所
-
千葉 立寛
東京工業大学大学院
-
千葉 立寛
東京工業大学|日本学術振興会特別研究員dc
-
松岡 聡
東京工業大学情報理工学研究科数理・計算科学専攻
-
斉藤 貴文
東京工業大学
-
松岡 聡
東工大:国情研
関連論文
- 異種アクセラレータを持つTSUBAMEスーパーコンピュータのLinpack評価(GPGPUコンピューティングの数理)
- 四種プロセッサからなるヘテロ型スーパーコンピュータにおけるLinpackチューニング(並列アプリケーション実装,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- GPU向けソフトウェアECCの性能評価(GPU,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 四種プロセッサからなるヘテロ型スーパーコンピュータにおけるLinpackチューニング(並列アプリケーション実装,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- GPU向けソフトウェアECCの性能評価(GPU,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- GPU向けソフトウェアECCの性能評価 (計算機アーキテクチャ・ハイパフォーマンスコンピューティング・「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ヘテロ並列環境のための省電力タスクスケジューリング(並列計算,SWoPP佐賀2008-2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ)
- ソフトウェアECCによるGPUメモリの耐故障性の実現と評価(信頼性とセキュリティ,SWoPP佐賀2008-2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ)
- 複数GPUにおけるセルフスケジューリングによる並列数値演算(ARC-5:並列処理1,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 大規模計算環境におけるユーザ満足度を考慮した資源管理へむけて(並列処理環境,2009年並列/分散/協調処理に関する『仙台』サマー・ワークショップ(SWoPP仙台2009))