マルチスレッドによるTwo-Phase I/Oの高速化の検討

概要

論文の詳細を見る
科学技術計算の分野において近年取扱うデータ量は増加しており,高性能なファイル入出力が求められている.並列計算環境における標準的な通信インタフェースであるMPIにおいて,並列入出力インタフェースである MPI-IO があり,良く知られた MPI-IO の実装に ROMIO がある.ROMIO における集団型入出力の最適化手法として Two-Phase I/O が採用されている.Two-Phase I/O は集団型入出力を行うプロセス間でデータの並べ替え操作を行うことで,ファイルに対する不連続なアクセスパターンを連続なアクセスパターンにし,ファイルアクセスを高速化する最適化手法である.しかしながら,Two-Phase I/O はデータ並べ替え操作においてプロセス間で通信を行うため,並べ替え操作のコストが高く,これがファイルアクセスのボトルネックとなってしまう.本稿では,マルチスレッド処理を用いることで,Two-Phase I/O のデータ並べ替え処理と I/O 処理をオーバーラップさせ,集団型不連続入出力の性能を向上する方法を提案する.また,今回読み込みの場合のみに対して行った Two-Phase I/O のマルチスレッド化の実装について,高い性能を実現できることを示す.
2010-10-06