増分データとErasure Codingを利用した高速なチェックポイント手法

概要

論文の詳細を見る
チェックポイント/リスタート手法は多くの大規模 HPC システムで利用されている耐故障機能である。しかし、近年の大規模 HPC システムのメモリサイズの急速な増大に比べ、並列ファイルシステムの I/O 帯域の増大は相対的に低いため、チェックポイント時間が増加してしまう問題がある。本研究では、チェックポイントのオーバヘッドを低く抑えつつ多重故障に対応することを目的とし、Erasure Coding を採用する。処理のボトルネックを避けるために Erasure Coding の符号演算処理を並列化し、かつ並列ファイルシステムの代わりにノードのローカルストレージにプロセスイメージを格納する。さらにプロセスイメージの大きさを削減するために、Incremental Checkpoint 手法を採用する。この手法はチェックポイント時に前回のプロセスイメージとの差分部分を記憶するものである。並列環境において行列積演算および NPB LU ベンチマークを用いた実験の結果、Incremental Checkpoint を用いたときに 28-84% の性能向上を確認した。
2009-10-02