広域分散環境を提供するHPCIシステムソフトウェア基盤の設計概要と共有ストレージ構築
スポンサーリンク
概要
- 論文の詳細を見る
大規模スパコンである 「京」 とその他国内主要な計算資源をユーザが容易に利用できる環境として、革新的ハイパフォーマンス・コンピューティング・インフラ (HPCI) を構築する。基本設計は、ネットワーク、認証基盤、共有ストレージ、ユーザ管理支援、先端ソフトウェア運用基盤に分けて構成され、このうちの共有ストレージについて詳細に紹介する。共有ストレージは、HPCI 各拠点から利用可能な大容量、高信頼、高可用を必須要件とし、かつ持続的な運用が可能であることを重視した検討を行った。実際に運用されている共有ストレージにおける幾つかの利用形態か、求められる特性、運用形態を検討した結果、Gfarm を中核としたシステムを設計し、平成 23 年度後期を目処に構築を行っている。
- 2011-07-20
著者
-
石川 裕
東京大学情報基盤センター
-
石川 裕
東京大学大学院情報工学系研究科
-
實本 英之
東京工業大学
-
建部 修見
筑波大学大学院システム情報工学研究科
-
石川 裕
東京大学
-
佐藤 仁
東京工業大学
-
建部 修見
筑波大学計算科学研究センター
-
建部 修見
筑波大学
-
石川 裕
東京大学大学院情報理工学系研究科|東京大学情報基盤センター
-
建部 修見
筑波大 大学院システム情報工学研究科
-
實本 英之
東京大学
関連論文
- MPI通信ライブラリの最適化と性能評価(HPC-1:MPI,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 分散ページングによる大規模仮想メモリ空間(クラスタ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- ファイルステージング再考 : オンデマンド化と高速化に向けたプロトタイプ実装の評価(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ファイルサーバー独立な並列ファイルキャッシュ機構(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 並列プログラムの実行可搬性を実現するMPI通信ライブラリの設計(インターコネクト/MPI通信ライブラリ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 2.次世代高性能コンピュータシステム上の高信頼ソフトウェアシステムの開発支援技術(第1部:高い生産性を持つ高信頼ソフトウェア作成技術の開発,学と産の連携による基盤ソフトウェアの先進的開発)
- ソフトウェアによる精密ペーシング方式を用いたTCP通信性能の改善((フォトニック)IPネットワーク技術, (光)ノード技術, WDM技術, 一般)
- Gigabit Ethernet NIC の性能評価
- NUMA並列型クラスタ上での効率的なスケジューリング(並列プログラミング/スケジューリング,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- IPMI規格に基づく管理保守系システムソフトウェア(OS-3 : 高性能計算機)
- マルチコアクラスタ向け並列ファイルシステムアーキテクチャ(HPC-13:ファイルシステム,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- Etheretによるクラスタ上での分散共有メモリOpenMP Omni/SCASHの性能評価
- 6.SCore型クラスタ
- 再送制御を考慮した通信モデルの設計(HPC-10 : 適応環境での通信)
- リアルタイムパケットの通信制御(OS-4: 通信システム, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- リアルタイムパケットの送信制御(ポスターセッション)
- マルチコアSHにおける複数カーネル実行機構の設計と実装(OS-2:カーネルとネットワーク,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- GridMPI^ Version 1.0の概要(HPC-10: 通信ライブラリ)
- RHiNETの高速通信ライブラリPMv2による評価
- RHiNETの高速通信ライブラリPMv2による評価
- 並列アプリケーション実行におけるTCP/IP通信挙動の解析 (インターネットコンファレンス2003論文集)
- グリッド上のコレクティブ通信アルゴリズム
- ストリーミング配信に対するソフトウェアペーシング方式の効果(有線/無線シームレスネットワーク,ネットワーク制御,無線通信一般)
- ギャップパケットを用いたソフトウェアによる精密ペーシング方式(ネットワーク)
- MPIライブラリと協調するTCP通信の実現(ネットワーク)
- IBM pSeriesにおけるGridMPIの実装と性能評価(通信ライブラリ, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))
- IBM pSeries における GridMPI の実装と性能評価
- GridMPIのためのTCP/IP輻輳制御実装方式の検討(OS-3:ネットワーク)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 並列プログラムの実行可搬性を実現するMPI通信ライブラリの設計(インターコネクト/MPI通信ライブラリ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 配列転置データ転送を高速化する10Gb Ethernetインタフェースカードの設計(ネットワーク)
- 高性能通信処理オフロードエンジンUZURA実現に向けて(HPC-6: 高速ネットワークとその応用)
- 10Gb Ethernetを用いた高性能通信機構の設計(HPC-6 : 通信ライブラリ)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 高い移植性を持つ最悪実行時間解析手法
- カーネルレベルMPI非同期集団通信機構の設計と実装
- テラスケールコンピューティングのための遠隔スワップシステムTeramem
- ファイルステージングシステムCatwalkのMPI-IO実装
- 周期タスクを対象とした最悪割り込み遅延予測(オペレーティングシステム・システムソフトウェア)
- 移植性の高い実行時間予測手法の設計と実装(ARC-7:性能予測,2006年並列/分散/強調処理に関する『高知』サマー・ワークショップ(SWoPP 高知2006))
- 実行時間予測ツールの設計と実装(ARC-5: 性能予測, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- GridMPI^の性能評価(HPC-6 : 通信ライブラリ)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 柔軟な負荷分散を可能にする分散型シングルIPクラスタ(OS-1 : 実行基盤)
- レイヤー7負荷分散のためのTCP接続移送機構
- レイヤー7負荷分散のためのTCP接続移送機構
- プライベートアドレスを有するクラスタ群のための高性能MPI通信リレー機構
- ファイルキャッシュシステムの有効性向上に向けた科学技術計算アプリケーションのI/O特性評価
- 移植性の高い最悪実行時間予測ツールRETASの設計と実装
- 移植性の高い最悪実行時間予測ツールRETASの設計と実装
- シームレスなMPI環境を実現するMPI-Adapterの設計と性能評価
- ヒューマノイド・ロボットのための実時間分散情報処理(実時間処理,組込システム及び一般)
- ヒューマノイド・ロボットのための実時間分散情報処理(実時間処理,組込システム及び一般)
- 分散ページングによる大規模仮想メモリ空間(クラスタ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- ファイルステージング再考 : オンデマンド化と高速化に向けたプロトタイプ実装の評価(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- SCoreクラスタ計算環境
- SMP環境におけるLinuxスケジューラの評価
- SMP環境におけるLinuxスケジューラの評価
- 電力制御スケジューラのプロトタイプ実装(OS-5 : 適応システム,2006年並列/分散/協調処理に関する『高知』サマー・ワークショップ(SWoPP高知2006)-研究会・連続同時開催-)
- 複数カーネル実行機構を利用したアプリケーション実行環境の設計と実装
- 複数カーネル実行機構を利用したアプリケーション実行環境の設計と実装
- MPI通信モデルに適した非同期通信機構の設計と実装(クラスタソフトウェア)
- MP1通信モデルに適した通信APIの設計と実装(HPC-7 : 通信ライブラリ)(2003年並列/分散/協調処理に関する『松江』サマー・ワークショップ(SWoPP松江2003))
- GridMPI-通信遅延を考慮したMPI通信ライブラリの設計(HPC-7 : 通信ライブラリ)(2003年並列/分散/協調処理に関する『松江』サマー・ワークショップ(SWoPP松江2003))
- WAN上の複数クラスタによる単一MPIアプリケーションの性能評価
- 移植性の高い最悪実行時間予測ツールRETASの設計と実装
- 移植性の高い最悪実行時間予測ツールRETASの設計と実装
- RHiNETによる共有メモリプログラミングのサポート
- PC間ネットワークによる共有アドレス空間を持つ並列処理システム
- 分散並列モンテカルロ木探索フレームワークの提案
- T2Kオープンスーパーコンピュータと共用イノベーション
- 超並列オブジェクトベース言語OCoreの並列計算機上での実装
- NUMA並列型クラスタ上での効率的なスケジューリング(並列プログラミング/スケジューリング,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- T2Kオープンスパコンが創る新しい計算機環境
- P-BusにおけるOSカーネル間通信機構の設計と実装(OS-2:カーネルとネットワーク,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- カーネル機能拡張のための抽象化レイヤP-Busの実装(セッション2:システム構成法)
- PBus : 柔軟なカーネル機能拡張のためのインタフェース(OS-3 : OS実装)
- 大規模メモリ空間の利用を支援する遠隔スワップメモリシステム(HPC-7 : データ管理)
- コモディティネットワークによる5GB/s通信の可能性(通信,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- コモディティネットワークによる5GB/s通信の可能性(通信,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 10Gb Ethernet上の通信プロトコル作成支援技術(OS-3 : 高性能計算機)
- 次世代高性能計算機アーキテクチャ上のシステムソフトウェア開発環境(OS-3 : 高性能計算機)
- 自律的システム管理ソフトウェアの設計(OS-4:ストレージと自律管理)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- Linuxにおける共有メモリを保持するプロセスのマイグレーション機構(OS-4 : 資源保護,2006年並列/分散/協調処理に関する『高知』サマー・ワークショップ(SWoPP高知2006)-研究会・連続同時開催-)
- 単一IPアドレスクラスタにおける耐故障機構の設計と実装
- 憧れられるソフトウェア科学ビッグプロジェクト立ち上げを!
- CIMを用いた障害検知システム(OS-6 : 分散システム,2006年並列/分散/協調処理に関する『高知』サマー・ワークショップ(SWoPP高知2006)-研究会・連続同時開催-)
- 低消費電力のためのスケジューリングアルゴリズム(カーネルとライブラリ)
- クラスタ監視機能付きMPI通信ライブラリ(HPC-10: 通信ライブラリ)
- プロセス単位電力制御機構の予備評価(OS-3: カーネル, スケジューリング, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- シングルIPアドレスクラスタの設計(OS-2: 分散システム, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- 動的アクセスパターン解析によるソフトウェア分散共有メモリ(クラスタソフトウェア)
- 広域分散環境を提供するHPCIネットワーク・認証・ユーザ管理支援基盤の設計
- 広域分散環境を提供するHPCI先端ソフトウェア運用基盤の設計
- 広域分散環境を提供するHPCIシステムソフトウェア基盤の設計概要と共有ストレージ構築
- 容易なアドバイス記述法をもつFault Resilienceプログラム環境構築にむけて
- 非同期コレクティブ通信の実装方式の検討
- 予測可能リアルタイムカーネルの設計と実装(OS (2))
- 厳密な周期タスク実行を支援する実時間Linuxカーネルの実装(OS-2 : 資源管理,2006年並列/分散/協調処理に関する『高知』サマー・ワークショップ(SWoPP高知2006)-研究会・連続同時開催-)
- User Mode Linux上における高速通信機構(仮想化)
- クラスタを単一システムとして扱うTCP/IPソケットの実装(ポスターセッション)
- X線自由電子レーザー施設SACLAとスーパーコンピューター「京」の連携(ネットワーク研究開発テストベッド運用・利用,一般)
- ジョブ間データ転送方式の検討