クラスタをメモリ資源として利用するためのMPIによる高速大容量メモリ
スポンサーリンク
概要
- 論文の詳細を見る
64 bitOS の普及により,飛躍的に大きなアドレス空間が利用可能となった.筆者らはローカル物理メモリサイズに制限されず,クラスタの各ノードの遠隔メモリを集めて,仮想的に 1 つの大容量メモリとして逐次処理に提供するシステム,分散大容量メモリシステム DLM を提案してきた.DLM は,OS スワップシステムに組み込む他の多くの遠隔ページング手法とは異なり,OS のスワップシステムとは独立にユーザレベルソフトウエアとして実装されている.すでに,汎用の TCP のみを用いた DLM が,ブロックデバイス構築,専用 NIC,低レベル高速通信プロトコルなどを併用した他手法に比べ,より高い性能と動作安定性を示すことを明らかにした.本論文では,従来の DLM では TCP で実装してきたノード間通信機構を,標準的なクラスタ間通信機構である MPI で実装し,より可搬性・可用性を高め,様々な最新高性能通信機構にも対応可能とした.あわせて,クラスタや並列処理の知識のない一般ユーザにも容易にクラスタを利用できる API も構築した.これにより,自分専用のクラスタやメモリ豊富なハイエンドマシンを持たないユーザであっても,少ない資金で,MPI バッチシステムで運用される多くのオープンクラスタをメモリ資源として利用することが可能になった.Myri-10G/bonding=4 のネットワークを持つオープンクラスタでの実験では,遠隔メモリバンド幅 613 MB/s を達成し,241 GB のデータに対する Himeno ベンチマーク処理を 20 GB メモリ/ノードを複数用いて,稼動できることを示した.また NPB の 6 種のプログラムについて,ローカル/遠隔メモリサイズ比と性能の関係などについて明らかにした.
- 一般社団法人情報処理学会の論文
- 2009-12-17
著者
-
佐藤 三久
筑波大学大学院システム情報工学研究科
-
朴 泰祐
筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻
-
緑川 博子
成蹊大学理工学部情報科学科
-
斉藤 和広
成蹊大学工学研究科情報処理専攻|現在,KDDI株式会社
-
佐藤 三久
筑波大学システム情報工学研究科
-
佐藤 三久
筑波大学大学院システム情報工学研究科|筑波大学計算科学研究センター
-
斉藤 和広
成蹊大学大学院工学研究科
-
緑川 博子
成けい大 理工
-
緑川 博子
成蹊大学工学研究科情報処理専攻
-
朴 泰祐
筑波大学 計算科学研究センター
-
緑川 博子
成蹊大学理工学研究科理工学専攻
-
朴 泰祐
筑波大学大学院システム情報工学研究科|筑波大学計算科学研究センター
-
斉藤 和広
成蹊大学工学研究科情報処理専攻|現在 Kddi株式会社
-
緑川 博子
成蹊大学理工学研究科
関連論文
- 大規模P2Pグリッドでの大容量コンピューティングのためのスケーラブルなプログラミング環境の検討(HPC-7 : 分散環境(1))
- クラスタをメモリ資源として利用するためのMPIに基づいた高速大容量仮想メモリ(コンピュータシステム技術,2009年並列/分散/協調処理に関する『仙台』サマー・ワークショップ(SWoPP仙台2009))
- 遠隔メモリスワップのためのユーザレベルソフトウエアDLMの性能評価(ネットワーク,SWoPP佐賀2008-2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ)
- 遠隔メモリを利用する大容量メモリシステムDLMとコンパイラ(計算環境)
- 分散大容量メモリシステムDLMの設計とDLMコンパイラの構築(分散システム,コンピュータシステムのインタコネクト技術及び一般)
- ユーザ透過に利用可能な耐故障・高性能マルチリンクEthernet結合システム(クラスタと省電力技術)
- T2K筑波システムにおけるLinpack性能評価(HPC-4:性能評価,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- Short Vector SIMD命令を用いた並列FFTの実現と評価(性能最適化)
- 自動プログラム領域分割を用いた実行時DVFS制御(命令実行制御,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2008))
- 大規模固有値問題のmaster-worker型並列解法(数値計算)
- "FIRST"-第一世代天体の起源解明のための専用・汎用計算機融合型クラスタ(HPC-8: 高性能クラスタ)
- バンド幅指向超並列クラスタPACS-CS
- マルチパスネットワークを持つPCクラスタにおける動的経路制御システム(クラスタシステム)
- tagged-VLANを用いたPCクラスタ向けマルチパスネットワークにおける動的ルーティング(HPC-13 : 通信II)
- EthernetマルチリンクによるPCクラスタ向け高バンド幅・耐故障ネットワークRI2N/UDP(ネットワーク)
- tagged-VLANとマルチリンクに基づくPCクラスタ向け高性能・耐故障ネットワークの実装と評価(Session 3:Cluster/Grid)
- VFREC-Net : ドライバ制御によるtagged-VLANを用いたPCクラスタ向けマルチパスネットワーク(ネットワーク)
- UDPによるファイアウォール越えを用いたP2Pオーバーレイネットワーク(HPC-7 : 分散環境(1))
- EthernetマルチリンクによるPCクラスタ向け耐故障ネットワークRI2N/UDP(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- EthernetマルチリンクによるPCクラスタ向け耐故障ネットワークRI2N/UDP(ネットワーク, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- tagged-VLANに基づくPCクラスタ向け高バンド幅ツリーネットワークの開発(HPCシステム)
- プリフェッチ機構を持つマルチコア向けソフトウェア分散共有メモリシステム(HPC-14:分散処理,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- マルチコアクラスタ向け並列言語-スレッド/プロセス並列機構の実装-
- 大規模クラスタにおけるソケットダイレクトプロトコルSDPの性能評価(インタコネクト, SWOPP武雄2005 (2005年並列/分散/協調処理に関する「武雄」サマー・ワークショップ))
- PCクラスタにおける電力実行プロファイル情報を用いたDVS制御による電力性能の最適化(クラスタシステム)
- PCクラスタにおける電力実行プロファイル情報を用いたDVS制御による電力性能の最適化(省電力,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- PCクラスタにおける電力実行プロファイル情報を用いたDVS制御による電力性能の最適化(省電力, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- 高性能計算のための低電力・高密度クラスタMegaProto(HPCハードウェア)
- PCクラスタにおけるDVS制御による電力性能の最適化(ARC-3: 低電力アーキテクチャ1, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- 高性能計算のための低電力・高密度クラスタMegaProto(クラスタと通信, 分散処理, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2005))
- 高性能計算のための低電力・高密度クラスタ MegaProto
- プライベートネットワーク内のノードをサーバとして外部に公開するための機構(HPC-15 : ネットワーク)
- ユーザレベル実装遠隔メモリページングシステムにおけるページ置換アルゴリズムの評価
- マルチレール相互結合網における通信プロファイリングに基づく性能最適化
- トラフィック量に適応する非対称マルチリンクEthernetトランキング
- 分散メモリ向け並列言語XcalableMPコンパイラの実装と性能評価
- PCI Expressによる省電力・高信頼・高性能通信リンクのためのコミュニケータチップ: PEACH
- PCI Expressによる省電力・高信頼・高性能通信リンクのためのコミュニケータチップ: PEACH
- 匿名性と不正者の特定を両立させるP2P環境用認証方式(セキュリティ)
- GlobusによるGrid RPCシステムの実装と評価
- 行列積を用いた古典Gram-Schmidt直交化法の並列化
- PACS-CSにおける隣接通信性能の高速化(HPC-13 : 通信II)
- PACS-CSのための高性能通信ライブラリインターフェイスの設計(HPC-12 : 大規模運用システム(2))
- 仮想マシンとSpecCデバイスモデルを統合したデバイス故障エミュレータの実現
- 行列積を用いた古典Gram-Schmidt直交化の並列化手法の検討(数値計算2)
- 演算加速機構を持つオンチップメモリプロセッサの検討と電力性能評価
- 大規模並列システムにおける電力最適化実行時の消費エネルギー予測手法
- 仮想計算機環境における省電力化を目的としたサーバ資源制御
- 分散型Webサーバでの負荷変動を考慮した省電力化のためのノード状態制御
- 自動プログラム領域分割を用いた実行時DVFS制御(命令実行制御,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2008))
- 分散型Webサーバにおけるノード状態制御による省電力化の検討(クラスタと省電力技術)
- メモリ効率を考慮した組み込み向け高信頼ソフトウェア分散共有メモリの検討(分散処理とシステムソフトウェア)
- 影響の少ないインスツルメント手法と電力最適化のためのプログラム領域分割(省電力方式)
- DVFS制御を目的としたプログラムの領域分割(Session 6:低消費電力)
- MegaProto/Eにおける電力性能評価および電力性能最適化の検討(Session 6:低消費電力)
- DVS制御による負荷不均衡のある並列プログラムの電力量削減手法(クラスタシステム)
- PCクラスタにおける全体電力プロファイルを用いた電力性能最適化(ARC-1:低電力アーキテクチャ,2006年並列/分散/強調処理に関する『高知』サマー・ワークショップ(SWoPP 高知2006))
- DVS制御による負荷不均衡のある並列プログラムの電力量削減手法(省電力,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- DVS制御による負荷不均衡のある並列プログラムの電力量削減手法(省電力, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- 科学技術計算用超並列クラスタPACS-CSの実装と基本性能評価(HPC-12 : 大規模運用システム(2))
- 片方向通信の実装方式の違いによる比較
- クラスタをメモリ資源として利用するためのMPIによる高速大容量メモリ
- マルチグリッド環境における効率的な監視システムに関する研究
- 超並列クラスタにおける3D-RISMへのVolumetric並列三次元FFTの適用と性能評価
- 分散メモリ向け並列言語XcalableMPにおけるユーザ定義データ分散機能の検討
- プログラムテスト環境を提供するクラウドコンピューティングシステムの検討
- 非対称な形状に適応する高バンド幅multi-link Ethernet
- ソフトウエア分散共有メモリシステムSMS
- 遠隔メモリを利用する分散大容量メモリシステムDLMの設計と10 Gb Ethernetにおける初期性能評価
- 仮想マシンと SpecC デバイスモデルを統合したデバイス故障エミュレータの実現
- B_016 並列言語MpCの高機能化(B分野:ソフトウェア)
- 分散メモリ向け並列言語XcalableMPコンパイラの試作と評価
- オープンなセンサを共有するセンシングWebのための広域分散アーキテクチャ(HPC-14:分散処理,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- ユーザ透過に利用可能な高性能・耐故障マルチリンクEthernet結合システム
- Windows PCをグリッド環境で利用するための軽量Linuxバイナリ実行システム(仮想化)
- 3P-1 仮想マシンを用いた分散システムの耐故障性評価環境の検討(分散・並列システム,学生セッション,アーキテクチャ)
- プログラムテスト環境を提供するクラウドコンピューティングシステムの検討
- 超並列クラスタにおける3D-RISMへの Volumetric 並列三次元FFTの適用と性能評価
- 複数グリッドジョブ実行システムの計算資源を統合・利用するGrid RPCシステムの設計と実装(グリッドシステム)
- グリッドRPCシステムOmniRPCにおける初期データの分散管理による効率化(グリッドRPC)
- Grid RPCにおける広域データ管理レイヤの利用(グリッド)
- オンチップRAM利用による電力性能の最適化と評価(ARC-3: 低電力アーキテクチャ1, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- ソフトウェアDSMのトランザクションシステムへの適用
- メタプロセスモデルに基づくポータブルな並列プログラミングインタフェース MpC(並列処理)
- PCI Express による省電力・高信頼・高性能通信リンクのためのコミュニケータチップ : PEACH
- メモリバンド幅に着目したマルチコアノード上のアプリケーション最適化
- 非対称な形状に適応する高バンド幅 multi-link Ethernet
- 複数グリッドミドルウエア上で動作するGrid RPCシステムOmniRPCの設計と実装(HPC-4: グリッド)
- 分散メモリ向けデータ並列言語OpenMPDの設計と実装(コンパイラ及びツール,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 分散メモリ向けデータ並列言語OpenMPDの設計と実装(コンパイラ及びツール,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 組込みチップマルチプロセッサM32R32700へのOpenMP処理系の実装と評価(チップマルチプロセッサ)(デザインガイア2004-VLSI設計の新しい大地を考える研究会-)
- 複数Gigabit Ethernetを用いたPACS-CSのための高性能通信機構の設計と評価(ネットワーク)
- PACS-CSのためのEthernetを用いた高性能通信機構の設計(HPC-8: 高性能クラスタ)
- 計算科学のための超並列クラスタPACS-CSの概要(HPC-8: 高性能クラスタ)
- Windows PC をグリッド環境で利用するための軽量 Linux バイナリ実行システム
- ヘテロなOSの計算資源を活用するグリッドRPCの設計
- 並列言語XcalableMPのGPU向け拡張
- MCAPIを用いた組込み向け耐故障分散共有メモリの実装
- MCAPIを用いた組込み向け耐故障分散共有メモリの実装
- MPIを通信レイヤに用いるソフトウェア分散共有メモリシステム(ソフトウエアDSM)