ワークフローアプリケーションに対する計算資源割り当ての最適化

概要

論文の詳細を見る
大規模データを扱うデータインテンシブアプリケーションは近年増加の一途を辿っており,これらの爆発的に増加するデータを分散並列環境で解析的に処理するフレームワークとしてワークフローシステムが注目されている.ワークフローは複数のタスクで構成されており,それらのタスク間での依存関係をユーザが定義して処理が並列計算環境上で実行されるが,ワークフローそれ自体は目的に応じて構成されるため,実行したいワークフローがその実行環境でどのように配置すれば最適に実行可能かを知ることは難しい.また,クラウドのように動的に計算資源をスケールアウト/イン可能なシステムにおいては,ワークフローの特徴や処理に応じてリソースを増減させることでユーザ・システム側の双方において最適な実行が可能となる.未知の環境に対してもワークフローの性能を利用する環境それぞれで最適化させるために,汎用的に適応可能な性能モデルの構築が必要不可欠である.本稿では,ワークフローアプリケーションの性能モデルを構築し,TSUBAME2.0とAmazon EC2/S3において天文データ解析を行うMontageに対してモデルを適応させた.小規模なワークフローの実行結果をもとに計算性能やI/O性能を見積もり,より大規模なワークフローでの性能の予測を行った.その結果,今回構築したモデル化では表現しきれていないパラメータの影響,特に中間ファイルがメモリキャッシュにのる場合やメタデータファイルへのアクセスコストにより,正確には性能を見積もることは出来なかった.
2011-03-08

ワークフローアプリケーションに対する計算資源割り当ての最適化

スポンサーリンク

概要

著者

関連論文

スポンサーリンク