ジョブ間データ転送方式の検討
スポンサーリンク
概要
- 論文の詳細を見る
実時間ゲリラ豪雨予測システムを実現するために,100 ケースの 30 秒アンサンブル気象シミュレーション結果と 30 秒毎の最新気象観測データを同化し,その結果から 30 分後の気象予測をする.将来の並列計算機において,5000 プロセスから構成される気象シミュレーションジョブと 5000 プロセスから構成されるデータ同化ジョブの間でデータ転送が行われると見積もっている.ファイル渡しによる非効率なデータ転送ではなく,ファイル I/O API を維持しながら 2 つのジョブのプロセス間で効率の良いデータ転送を提供する File I/O Arbitrator を提案する.
- 2014-02-24
著者
-
石川 裕
東京大学情報基盤センター
-
石川 裕
東京大学情報理工学系研究科
-
八代 尚
理化学研究所
-
西澤 誠也
理化学研究所
-
富田 浩文
理化学研究所
-
三好 建正
理化学研究所計算科学研究機構
-
大塚 成徳
理化学研究所計算科学研究機構
-
齋藤 智之
東京大学情報理工学系研究科
-
Gerofi Balazs
東京大学情報理工学系研究科
-
三好 建正
理化学研究所
関連論文
- MPI通信ライブラリの最適化と性能評価(HPC-1:MPI,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 分散ページングによる大規模仮想メモリ空間(クラスタ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- ファイルステージング再考 : オンデマンド化と高速化に向けたプロトタイプ実装の評価(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 並列プログラムの実行可搬性を実現するMPI通信ライブラリの設計(インターコネクト/MPI通信ライブラリ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 2.次世代高性能コンピュータシステム上の高信頼ソフトウェアシステムの開発支援技術(第1部:高い生産性を持つ高信頼ソフトウェア作成技術の開発,学と産の連携による基盤ソフトウェアの先進的開発)
- NUMA並列型クラスタ上での効率的なスケジューリング(並列プログラミング/スケジューリング,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- IPMI規格に基づく管理保守系システムソフトウェア(OS-3 : 高性能計算機)
- 再送制御を考慮した通信モデルの設計(HPC-10 : 適応環境での通信)
- リアルタイムパケットの通信制御(OS-4: 通信システム, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- リアルタイムパケットの送信制御(ポスターセッション)
- 並列プログラムの実行可搬性を実現するMPI通信ライブラリの設計(インターコネクト/MPI通信ライブラリ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 配列転置データ転送を高速化する10Gb Ethernetインタフェースカードの設計(ネットワーク)
- 高性能通信処理オフロードエンジンUZURA実現に向けて(HPC-6: 高速ネットワークとその応用)
- 10Gb Ethernetを用いた高性能通信機構の設計(HPC-6 : 通信ライブラリ)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- カーネルレベルMPI非同期集団通信機構の設計と実装
- ファイルステージングシステムCatwalkのMPI-IO実装
- 柔軟な負荷分散を可能にする分散型シングルIPクラスタ(OS-1 : 実行基盤)
- レイヤー7負荷分散のためのTCP接続移送機構
- レイヤー7負荷分散のためのTCP接続移送機構
- プライベートアドレスを有するクラスタ群のための高性能MPI通信リレー機構
- ファイルキャッシュシステムの有効性向上に向けた科学技術計算アプリケーションのI/O特性評価
- シームレスなMPI環境を実現するMPI-Adapterの設計と性能評価
- ヒューマノイド・ロボットのための実時間分散情報処理(実時間処理,組込システム及び一般)
- ファイルステージング再考 : オンデマンド化と高速化に向けたプロトタイプ実装の評価(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 電力制御スケジューラのプロトタイプ実装(OS-5 : 適応システム,2006年並列/分散/協調処理に関する『高知』サマー・ワークショップ(SWoPP高知2006)-研究会・連続同時開催-)
- T2Kオープンスーパーコンピュータと共用イノベーション
- NUMA並列型クラスタ上での効率的なスケジューリング(並列プログラミング/スケジューリング,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- T2Kオープンスパコンが創る新しい計算機環境
- P-BusにおけるOSカーネル間通信機構の設計と実装(OS-2:カーネルとネットワーク,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- カーネル機能拡張のための抽象化レイヤP-Busの実装(セッション2:システム構成法)
- PBus : 柔軟なカーネル機能拡張のためのインタフェース(OS-3 : OS実装)
- 大規模メモリ空間の利用を支援する遠隔スワップメモリシステム(HPC-7 : データ管理)
- コモディティネットワークによる5GB/s通信の可能性(通信,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- コモディティネットワークによる5GB/s通信の可能性(通信,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 10Gb Ethernet上の通信プロトコル作成支援技術(OS-3 : 高性能計算機)
- 次世代高性能計算機アーキテクチャ上のシステムソフトウェア開発環境(OS-3 : 高性能計算機)
- 自律的システム管理ソフトウェアの設計(OS-4:ストレージと自律管理)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- Linuxにおける共有メモリを保持するプロセスのマイグレーション機構(OS-4 : 資源保護,2006年並列/分散/協調処理に関する『高知』サマー・ワークショップ(SWoPP高知2006)-研究会・連続同時開催-)
- 単一IPアドレスクラスタにおける耐故障機構の設計と実装
- 憧れられるソフトウェア科学ビッグプロジェクト立ち上げを!
- CIMを用いた障害検知システム(OS-6 : 分散システム,2006年並列/分散/協調処理に関する『高知』サマー・ワークショップ(SWoPP高知2006)-研究会・連続同時開催-)
- 低消費電力のためのスケジューリングアルゴリズム(カーネルとライブラリ)
- クラスタ監視機能付きMPI通信ライブラリ(HPC-10: 通信ライブラリ)
- プロセス単位電力制御機構の予備評価(OS-3: カーネル, スケジューリング, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- シングルIPアドレスクラスタの設計(OS-2: 分散システム, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- 動的アクセスパターン解析によるソフトウェア分散共有メモリ(クラスタソフトウェア)
- 広域分散環境を提供するHPCIネットワーク・認証・ユーザ管理支援基盤の設計
- 広域分散環境を提供するHPCI先端ソフトウェア運用基盤の設計
- 広域分散環境を提供するHPCIシステムソフトウェア基盤の設計概要と共有ストレージ構築
- 容易なアドバイス記述法をもつFault Resilienceプログラム環境構築にむけて
- 非同期コレクティブ通信の実装方式の検討
- 予測可能リアルタイムカーネルの設計と実装(OS (2))
- 球面上の偏微分方程式解に関するワークショップ2009の報告
- 厳密な周期タスク実行を支援する実時間Linuxカーネルの実装(OS-2 : 資源管理,2006年並列/分散/協調処理に関する『高知』サマー・ワークショップ(SWoPP高知2006)-研究会・連続同時開催-)
- User Mode Linux上における高速通信機構(仮想化)
- A459 高解像度全球大気モデルにおける熱帯低気圧と季節内変動 : Athenaプロジェクト・北半球夏季実験(柳井迫雄先生追悼特別セッション:熱帯気象学の明日へ向けて,専門分科会)
- C302 異なる東進速度を持っ赤道対称降水系(スーパークラスタとMJO)の発現について(熱帯大気,一般口頭発表)
- クラスタを単一システムとして扱うTCP/IPソケットの実装(ポスターセッション)
- SCoreの紹介とインスト一ルの基礎知識
- B161 全球非静力学モデルによって再現された熱帯低気圧の傾度風平衡度合(熱帯大気,一般口頭発表)
- P357 全球雲解像モデルNICAMを基にした領域気候モデルの開発(ポスター・セッション)
- 全球非静力学モデルNICAMを用いた京コンピュータによる台風予測シミュレーション(大規模災害のシミュレーション)
- 広領域・高解像度実験のための気象LESモデルの開発(京による最新計算事例の紹介)
- D167 加熱面上境界層の乱流場に対する格子形状の影響(スペシャル・セッション「次世代スパコンが拓く超高精度メソスケール気象予測」,口頭発表)
- D166 SCALE-LESを用いた下層雲の数値実験(スペシャル・セッション「次世代スパコンが拓く超高精度メソスケール気象予測」,口頭発表)
- D163 全球非静力学モデルNICAMを基にした領域乱流解像モデルの開発(スペシャル・セッション「次世代スパコンが拓く超高精度メソスケール気象予測」,口頭発表)
- A160 SALSAプロジェクトにおける夏季関東領域での大気微量物質シミュレーション(スペシャル・セッション「大気微量気体およびエアロゾルの同化とその気候研究への利用」,口頭発表)
- D165 広領域・大規模計算のためのLES気象モデルの開発(スペシャル・セッション「次世代スパコンが拓く超高精度メソスケール気象予測」,口頭発表)
- P171 20面体格子気候モデルのモデル間比較 : G8 Call:ICOMEX Project(ポスター・セッション)
- B355 温暖化に伴う中部太平洋の熱帯低気圧の活動変化に対するマッデン・ジュリアン振動の寄与(台風,口頭発表)
- P154 非静力学モデルにおけるエアロゾル湿潤除去過程のモデリング(ポスター・セッション)
- X線自由電子レーザー施設SACLAとスーパーコンピューター「京」の連携(ネットワーク研究開発テストベッド運用・利用,一般)
- 「AICS国際データ同化ワークショップ」開催報告
- ジョブ間データ転送方式の検討
- B451 LETKF ネストシステムを用いた2012年5月6日のつくばの竜巻のアンサンブル予報実験(ポスト「京」に向けた気象・気候シミュレーションの展望,専門分科会)
- B402 WRF-ETKFを用いた2011年台風12号・15号の降雨流出予測実験(台風のデータ同化研究,専門分科会)
- B403 海面水温の不確実性を考慮したアンサンブルカルマンフィルタによる台風予報実験(台風のデータ同化研究,専門分科会)
- A401 全球非静力学モデルによって再現された深い湿潤対流の解像度依存性(気象システムII,口頭発表)
- 数値モデルを用いた惑星大気研究と地球流体電脳倶楽部 DCMODELプロジェクト(宇宙科学情報解析論文誌 第三号)
- (続)スーパーコンピュータ「京」の利用:5.1km格子間隔を切る大気大循環シミュレーションへの道のり
- P184 エアロゾル輸送モデルおよび大気化学輸送モデルを組み込んだJMANHMによる関東域でのシミュレーション(ポスター・セッション)
- 研究会開催報告:計算惑星科学シンポジウム
- B459 今後20年のデータ同化を考える(ポスト「京」に向けた気象・気候シミュレーションの展望,専門分科会)
- 広領域・高解像度実験のための気象LESモデルの開発
- B208 WRF-LETKFを用いた領域アンサンブル降水予報における側面境界摂動の影響(降水システムI,口頭発表)