並列ジョブのファイルI/Oをひとつのファイルに集約する方式の提案と予備評価
スポンサーリンク
概要
- 論文の詳細を見る
並列ジョブにおける多数ファイルに対する I/O をひとつのファイルに対する I/O に集約することによりファイル I/O を高速化する方式を提案する.各プロセスごとにファイルを作成し,データを書き出すというファイル I/O パターンをとるアプリケーションが多くある.しかし,現在普及している並列ファイルシステムは,少数の大きなデータ I/O で高い性能がでるように設計されており,プロセスごとにファイルを作成するという I/O パターンでは高い性能がでない.そこで,並列ジョブにおけるファイル I/O をひとつのファイルに集約し,少数の大きなデータ I/O にする方式を提案する.Lustre 上で予備評価を行った結果,並列プロセスがそれぞれ 1MB のファイルを 128 個 I/O する場合,2-3 倍の性能向上を確認した.
- 2011-11-21
著者
-
堀 敦史
東京大学
-
堀 敦史
エム・アール・アイ システムズ 新情報処理開発機構
-
大野 善之
理化学研究所計算科学研究機構|科学技術振興機構crest
-
石川 裕
理化学研究所計算科学研究機構|東京大学
-
石川 裕
東京大学大学院情報理工学系研究科|東京大学情報基盤センター|理化学研究所計算科学研究機構
-
堀 敦史
理化学研究所計算科学研究機構
-
堀 敦史
理化学研究所
関連論文
- ファイルステージング再考 : オンデマンド化と高速化に向けたプロトタイプ実装の評価(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 並列プログラムの実行可搬性を実現するMPI通信ライブラリの設計(インターコネクト/MPI通信ライブラリ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 高速通信機構PM2の設計と評価
- 既存OSの枠組みを用いたクラスタシステム向け高速通信機構の提案(特集:システムソフトウエアの新しい潮流)
- ソフトウェア分散共有メモリシステムにおけるページ転送方式の比較(並列処理)
- GigaE PM: Gigabit Ethernetを用いた高速通信機構の設計と評価(並列処理)
- ソフトウェア分散共有メモリSCASHにおけるページ管理ノードの動的再配置機構の実装と評価
- クラスタ上のプログラミング開発環境 : SCoreクラスタシステムソフトウェア
- GigaE PM II: Gigabit Ethernetによる高速通信ライブラリの設計
- 6.SCore型クラスタ
- 並列プログラムの実行可搬性を実現するMPI通信ライブラリの設計(インターコネクト/MPI通信ライブラリ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ファイルステージングシステムCatwalkのMPI-IO実装
- ファイルキャッシュシステムの有効性向上に向けた科学技術計算アプリケーションのI/O特性評価
- 片方向通信の実装方式の違いによる比較
- シームレスなMPI環境を実現するMPI-Adapterの設計と性能評価
- ファイルステージング再考 : オンデマンド化と高速化に向けたプロトタイプ実装の評価(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ファイルステージング再考:オンデマンド化と高速化に向けたプロトタイプ実装の評価 (計算機アーキテクチャ・ハイパフォーマンスコンピューティング・「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- SCoreクラスタ計算環境
- クラスタにおけるコンシステントチェックポイントの実現(特集:システムソフトウエアの新しい潮流)
- クラスタにおける並列プロセスマイグレーションの評価
- ギガビットネットワークを用いた並列プロセスマイグレーションの性能評価
- 通信ライブラリPMのUDP上への移植と評価
- OS開発のためのメニーコアハードウェアシミュレータの設計と実装
- ハードウェア同期機構を用いた超軽量スレッドライブラリ
- マルチコア・メニーコア混在型並列計算機向けOSの構想
- Two-Phase I/Oの高速化に関する一検討
- メニーコア向けシステムソフトウェア開発のための実行環境の設計と実装
- メニーコア環境におけるキャッシュアウェア・オペレーティングシステムに向けて
- メニーコア環境におけるキャッシュアウェア・オペレーティングシステムに向けて
- パイプライン型Two-Phase I/OのLustreにおける性能評価
- 並列ジョブのファイルI/Oをひとつのファイルに集約する方式の提案と予備評価
- メニーコア混在型並列計算機におけるスレッド管理方式
- メニーコア混在型並列計算機におけるMPI通信基盤の提案
- パイプライン型Two-Phase I/OのLustreにおける性能評価
- 並列ジョブのファイルI/Oをひとつのファイルに集約する方式の提案と予備評価
- メニーコア混在型並列計算機におけるスレッド管理方式
- メニーコア混在型並列計算機におけるMPI通信基盤の提案
- ハードウェア同期機構を用いた省電力MPIの実装と評価
- ハードウェア同期機構を用いた省電力MPIの実装と評価
- メニーコア混在型並列計算機におけるスレッド管理方式
- メニーコア混在型並列計算機におけるMPI通信基盤の提案
- メニーコア混在型並列計算機におけるスレッド管理方式
- メニーコア混在型並列計算機におけるMPI通信基盤の提案
- パイプライン型Two-Phase I/OのLustreにおける性能評価
- 並列ジョブのファイルI/Oをひとつのファイルに集約する方式の提案と予備評価
- ハードウェア同期機構を用いた省電力MPIの実装と評価
- ハードウェア同期機構を用いた省電力MPIの実装と評価
- パイプライン型Two-Phase I/OのLustreにおける性能評価
- 並列ジョブのファイルI/Oをひとつのファイルに集約する方式の提案と予備評価
- メニーコア混在型並列計算機における委託機構を用いたMPI通信基盤
- メニーコア並列計算機における通信機構の設計
- マルチコア・メニーコア混在型計算機における軽量OS向けI/Oライブラリの提案
- マルチコア・メニーコア混在型計算機における演算コア側資源管理の代行方式
- パーシャルメッセージロギングを改善する耐故障性実現フレームワーク
- パーシャルメッセージロギングを改善する耐故障性実現フレームワーク
- RDMAをサポートするクラスタ向けの軽量協調キャッシング
- RDMAをサポートするクラスタ向けの軽量協調キャッシング
- ヘテロジニアス計算機上のOS機能委譲機構
- 次世代高性能並列計算機のためのシステムソフトウェアスタック
- メニーコア向けNUMA最適並列分散I/Oの予備検証
- ヘテロジニアス計算機上のOS機能委譲機構
- 次世代高性能並列計算機のためのシステムソフトウェアスタック
- メニーコア向けNUMA最適並列分散I/Oの予備検証
- メニーコア用Agentプログラミング環境の提案
- D165 広領域・大規模計算のためのLES気象モデルの開発(スペシャル・セッション「次世代スパコンが拓く超高精度メソスケール気象予測」,口頭発表)