RDMAをサポートするクラスタ向けの軽量協調キャッシング
スポンサーリンク
概要
- 論文の詳細を見る
協調キャッシングは各ノードのファイルキャッシュを協調管理することで仮想的に全ファイルキャッシュ領域を結合したグローバルファイルキャッシュを提供する手法である。既存の協調キャッシング機構はメッセージパッシング通信によって CPU に負荷をかけていたが、近年は低負荷・低レイテンシのリモート DMA (RDMA) が HPC クラスタに普及しつつある。そこで本研究では RDMA のみを用いて協調キャッシングを行う手法を提案する。さらにアプリケーションに対し透過的に協調キャッシングを提供するライブラリを実装し、性能評価を行った。
- 2012-12-06
著者
-
堀 敦史
東京大学
-
石川 裕
東京大学
-
堀 敦史
エム・アール・アイ システムズ 新情報処理開発機構
-
石川 裕
東京大学大学院情報理工学系研究科|東京大学情報基盤センター
-
石川 裕
東京大学大学院情報理工学系研究科|東京大学情報基盤センター|理化学研究所計算科学研究機構
関連論文
- MPI通信ライブラリの最適化と性能評価(HPC-1:MPI,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 分散ページングによる大規模仮想メモリ空間(クラスタ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- ファイルステージング再考 : オンデマンド化と高速化に向けたプロトタイプ実装の評価(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ファイルサーバー独立な並列ファイルキャッシュ機構(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 並列プログラムの実行可搬性を実現するMPI通信ライブラリの設計(インターコネクト/MPI通信ライブラリ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 2.次世代高性能コンピュータシステム上の高信頼ソフトウェアシステムの開発支援技術(第1部:高い生産性を持つ高信頼ソフトウェア作成技術の開発,学と産の連携による基盤ソフトウェアの先進的開発)
- 高速通信機構PM2の設計と評価
- 既存OSの枠組みを用いたクラスタシステム向け高速通信機構の提案(特集:システムソフトウエアの新しい潮流)
- ソフトウェア分散共有メモリシステムにおけるページ転送方式の比較(並列処理)
- GigaE PM: Gigabit Ethernetを用いた高速通信機構の設計と評価(並列処理)
- ソフトウェア分散共有メモリSCASHにおけるページ管理ノードの動的再配置機構の実装と評価
- クラスタ上のプログラミング開発環境 : SCoreクラスタシステムソフトウェア
- GigaE PM II: Gigabit Ethernetによる高速通信ライブラリの設計
- NUMA並列型クラスタ上での効率的なスケジューリング(並列プログラミング/スケジューリング,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- IPMI規格に基づく管理保守系システムソフトウェア(OS-3 : 高性能計算機)
- マルチコアクラスタ向け並列ファイルシステムアーキテクチャ(HPC-13:ファイルシステム,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 6.SCore型クラスタ
- 再送制御を考慮した通信モデルの設計(HPC-10 : 適応環境での通信)
- リアルタイムパケットの通信制御(OS-4: 通信システム, 2005年並列/分散/協調処理に関する『武雄』サマー・ワークショップ(SWoPP武雄2005)-研究会・連続同時開催-)
- リアルタイムパケットの送信制御(ポスターセッション)
- マルチコアSHにおける複数カーネル実行機構の設計と実装(OS-2:カーネルとネットワーク,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- GridMPIのためのTCP/IP輻輳制御実装方式の検討(OS-3:ネットワーク)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 並列プログラムの実行可搬性を実現するMPI通信ライブラリの設計(インターコネクト/MPI通信ライブラリ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 配列転置データ転送を高速化する10Gb Ethernetインタフェースカードの設計(ネットワーク)
- 高性能通信処理オフロードエンジンUZURA実現に向けて(HPC-6: 高速ネットワークとその応用)
- 10Gb Ethernetを用いた高性能通信機構の設計(HPC-6 : 通信ライブラリ)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- カーネルレベルMPI非同期集団通信機構の設計と実装
- テラスケールコンピューティングのための遠隔スワップシステムTeramem
- ファイルステージングシステムCatwalkのMPI-IO実装
- GridMPI^の性能評価(HPC-6 : 通信ライブラリ)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 柔軟な負荷分散を可能にする分散型シングルIPクラスタ(OS-1 : 実行基盤)
- レイヤー7負荷分散のためのTCP接続移送機構
- レイヤー7負荷分散のためのTCP接続移送機構
- ファイルキャッシュシステムの有効性向上に向けた科学技術計算アプリケーションのI/O特性評価
- 片方向通信の実装方式の違いによる比較
- シームレスなMPI環境を実現するMPI-Adapterの設計と性能評価
- 分散ページングによる大規模仮想メモリ空間(クラスタ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- ファイルステージング再考 : オンデマンド化と高速化に向けたプロトタイプ実装の評価(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ファイルステージング再考:オンデマンド化と高速化に向けたプロトタイプ実装の評価 (計算機アーキテクチャ・ハイパフォーマンスコンピューティング・「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- SCoreクラスタ計算環境
- クラスタにおけるコンシステントチェックポイントの実現(特集:システムソフトウエアの新しい潮流)
- クラスタにおける並列プロセスマイグレーションの評価
- ギガビットネットワークを用いた並列プロセスマイグレーションの性能評価
- 電力制御スケジューラのプロトタイプ実装(OS-5 : 適応システム,2006年並列/分散/協調処理に関する『高知』サマー・ワークショップ(SWoPP高知2006)-研究会・連続同時開催-)
- 複数カーネル実行機構を利用したアプリケーション実行環境の設計と実装
- 複数カーネル実行機構を利用したアプリケーション実行環境の設計と実装
- 分散並列モンテカルロ木探索フレームワークの提案
- NUMA並列型クラスタ上での効率的なスケジューリング(並列プログラミング/スケジューリング,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- P-BusにおけるOSカーネル間通信機構の設計と実装(OS-2:カーネルとネットワーク,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- カーネル機能拡張のための抽象化レイヤP-Busの実装(セッション2:システム構成法)
- PBus : 柔軟なカーネル機能拡張のためのインタフェース(OS-3 : OS実装)
- 大規模メモリ空間の利用を支援する遠隔スワップメモリシステム(HPC-7 : データ管理)
- コモディティネットワークによる5GB/s通信の可能性(通信,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- コモディティネットワークによる5GB/s通信の可能性(通信,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 通信ライブラリPMのUDP上への移植と評価
- 10Gb Ethernet上の通信プロトコル作成支援技術(OS-3 : 高性能計算機)
- 次世代高性能計算機アーキテクチャ上のシステムソフトウェア開発環境(OS-3 : 高性能計算機)
- マルチコア向け複数カーネル実行機構におけるデバイス共有
- マルチコア向け複数カーネル実行機構におけるデバイス共有
- 自律的システム管理ソフトウェアの設計(OS-4:ストレージと自律管理)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- ファイルサーバー独立な並列ファイルキャッシュ機構(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- Linuxにおける共有メモリを保持するプロセスのマイグレーション機構(OS-4 : 資源保護,2006年並列/分散/協調処理に関する『高知』サマー・ワークショップ(SWoPP高知2006)-研究会・連続同時開催-)
- 単一IPアドレスクラスタにおける耐故障機構の設計と実装
- OS開発のためのメニーコアハードウェアシミュレータの設計と実装
- ハードウェア同期機構を用いた超軽量スレッドライブラリ
- メニーコア向けシステムソフトウェア開発のための実行環境の設計と実装
- メニーコア環境におけるキャッシュアウェア・オペレーティングシステムに向けて
- メニーコア環境におけるキャッシュアウェア・オペレーティングシステムに向けて
- パイプライン型Two-Phase I/OのLustreにおける性能評価
- 並列ジョブのファイルI/Oをひとつのファイルに集約する方式の提案と予備評価
- メニーコア混在型並列計算機におけるスレッド管理方式
- メニーコア混在型並列計算機におけるMPI通信基盤の提案
- パイプライン型Two-Phase I/OのLustreにおける性能評価
- 並列ジョブのファイルI/Oをひとつのファイルに集約する方式の提案と予備評価
- メニーコア混在型並列計算機におけるスレッド管理方式
- メニーコア混在型並列計算機におけるMPI通信基盤の提案
- ハードウェア同期機構を用いた省電力MPIの実装と評価
- ハードウェア同期機構を用いた省電力MPIの実装と評価
- メニーコア混在型並列計算機におけるスレッド管理方式
- メニーコア混在型並列計算機におけるMPI通信基盤の提案
- メニーコア混在型並列計算機におけるスレッド管理方式
- メニーコア混在型並列計算機におけるMPI通信基盤の提案
- パイプライン型Two-Phase I/OのLustreにおける性能評価
- 並列ジョブのファイルI/Oをひとつのファイルに集約する方式の提案と予備評価
- ハードウェア同期機構を用いた省電力MPIの実装と評価
- ハードウェア同期機構を用いた省電力MPIの実装と評価
- パイプライン型Two-Phase I/OのLustreにおける性能評価
- 並列ジョブのファイルI/Oをひとつのファイルに集約する方式の提案と予備評価
- メニーコア混在型並列計算機における委託機構を用いたMPI通信基盤
- マルチコア・メニーコア混在型計算機における軽量OS向けI/Oライブラリの提案
- マルチコア・メニーコア混在型計算機における演算コア側資源管理の代行方式
- RDMAをサポートするクラスタ向けの軽量協調キャッシング
- RDMAをサポートするクラスタ向けの軽量協調キャッシング
- ヘテロジニアス計算機上のOS機能委譲機構
- 次世代高性能並列計算機のためのシステムソフトウェアスタック
- メニーコア向けNUMA最適並列分散I/Oの予備検証
- ヘテロジニアス計算機上のOS機能委譲機構
- 次世代高性能並列計算機のためのシステムソフトウェアスタック
- メニーコア向けNUMA最適並列分散I/Oの予備検証
- メニーコア用Agentプログラミング環境の提案