パイプライン型Two-Phase I/OのLustreにおける性能評価

概要

論文の詳細を見る
近年,並列計算が扱うデータの大規模化により,I/O は主要なボトルネックとなっており,さらなる高速化が望まれている.また近年のコア数の増加によりメモリ消費が大きくなり安易に大規模なメモリ領域を確保できない.Two-Phase I/O は MPI-IO 実装の 1 つである ROMIO における高性能な集団型 I/O を実現する最適化であるが,性能向上のために確保するメモリ量を大きくする必要がある.また,I/O コストのノード間でのばらつきが性能に影響する問題もある.我々がこれまでの研究において提案した Two-Phase I/O の改良案は,PVFS2 が利用できる小規模な PC クラスタにおいては,条件によってはメモリ利用量を低減した上で性能を向上することが可能であることを示した.しかしながら,より大規模な環境での本実装の評価を行う必要があると考え,本稿では,東京大学情報基盤センター所有の T2K オープンスパコンを用い,Lustre ファイルシステムに対する性能評価を行った.その結果,今回の環境においても条件によってはオリジナルよりもメモリ利用量を低減した上で性能向上を実現できることが確認できた.
2011-11-21