データ集約的ワークフローの高精度なシミュレーター

概要

論文の詳細を見る
近年、自然言語処理、天文学、高エネルギー物理学、バイオインフォマティクスなどの科学技術分野における研究では既に大容量計算の必要性は高くなっている。人工衛星のセンサーにより収集されたデータの分析や、生命科学の研究、ポータルサービス提供にも自然言語処理で大容量なデータを扱う計算の需要は高まっている。これに伴ない、大容量計算における並列分散処理でのスケジューリングでは処理時間をいかに短くするかを大きな目的とする。このため大量のデータを共有することも考慮しながら分割したタスクを効率よく割り当てることが求まれる。計算能力の優れたリソースを用いても、タスクが必要とするデータがローカルになければ、そのデータの転送のコストが出てくるためである。本研究で取り上げているデータ集約的なワークフローは大容量のデータを扱うため、ファイルシステムへのアクセスが数多く発生する。アプリケーションの種類により割合は異なるが、全体の計算時間に高い比率を占めている。一般的にこのようなアプリケーションは大容量なデータから様々なステップで構成されるワークフローにわたって加工されていく仕組みになっており、それぞれのステップ、すなわちタスクの間では中間データからなる依存性を待って結ばれているのが特徴である。本研究では、このようなワークフローアプリケーションのプロファイリングを行った上、その再現及びスケジューリング手法によっての効果を検証できるシミュレーションを実現することを目的とする。
2010-07-27

データ集約的ワークフローの高精度なシミュレーター

スポンサーリンク

概要

著者

関連論文

スポンサーリンク