低負荷で多数の計算機をリアルタイムに監視するシステムVGXPの実装(大規模システム,SWoPP2006)
スポンサーリンク
概要
- 論文の詳細を見る
我々は,多数の計算機の効率的な監視と,対話的なコマンド投入を行うシステムVGXP(Visual Grid eXPlorer)を開発している.VGXPは面倒な個々の計算機へのインストールが不要で高速な並列コマンド投入が可能なGXPを拡張したシステムで,計算機のリソース利用率の監視と可視化機能を追加したものである.VGXPを使うと各計算機でのリソース利用率が図示されるので,クラスタの混み具合や負荷分散のバランスを一目で把握することができ,並列プログラムの開発やテストに役立てることができる.また,監視のために各計算機で必要なCPU負荷は約2%程度で,6拠点にまたがる約600台の計算機を監視した場合でも表示ノードにかかるCPU負荷は20%程度と,低負荷で監視を行うことができる.本稿では,これらの機能の実現方法や,監視のための情報収集の性能について説明する.
- 社団法人電子情報通信学会の論文
- 2006-07-26
著者
-
遠藤 敏夫
東京工業大学グローバルCOE
-
田浦 健次朗
東京大学大学院情報理工学系研究科
-
田浦 健次朗
東大 大学院情報理工学系研究科
-
近山 隆
東京大学大学院 新領域創成科学研究科 基盤情報学専攻
-
近山 隆
東京大学大学院工学系研究科
-
近山 隆
日本ソフトウェア技術会
-
近山 隆
東大
-
近山 隆
新世代コンピュータ技術開発機構
-
鴨志田 良和
東京大学大学院情報理工学系研究科
-
金田 憲二
東京大学大学院情報理工学系研究科
-
鴨志田 良和
東京大学情報基盤センター
-
田浦 健次郎
東京大学
-
遠藤 敏夫
東京大学大学院情報理工学系研究科
-
金田 憲二
東京大学大学院情報理工学系研究科:(現)グーグル株式会社
-
近山 隆
東京大学大学院 工学系研究科
-
近山 隆
東京大学大学工学系研究科
関連論文
- 異種アクセラレータを持つTSUBAMEスーパーコンピュータのLinpack評価(GPGPUコンピューティングの数理)
- メッセージ衝突を防止する適応的な収集操作アルゴリズム(並列分散処理,情報爆発論文)
- 四種プロセッサからなるヘテロ型スーパーコンピュータにおけるLinpackチューニング(並列アプリケーション実装,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 四種プロセッサからなるヘテロ型スーパーコンピュータにおけるLinpackチューニング(並列アプリケーション実装,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ヘテロ並列環境のための省電力タスクスケジューリング(並列計算,SWoPP佐賀2008-2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ)
- ソフトウェアECCによるGPUメモリの耐故障性の実現と評価(信頼性とセキュリティ,SWoPP佐賀2008-2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ)
- 複数GPUにおけるセルフスケジューリングによる並列数値演算(ARC-5:並列処理1,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 並列分散環境におけるファイル共有システムの負荷原因探索システム(ストレージアクセス技術,2009年並列/分散/協調処理に関する『仙台』サマー・ワークショップ(SWoPP仙台2009))
- スワップコストの動的推定によるメモリの省電力化手法(アクセラレーション/メモリシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 大規模クラスタを用いた高精度なGait認識(一般セッション(2),文字認識・文書理解)
- 大規模クラスタを用いた高精度なGait認識(一般セッション(2), 文字認識・文書理解)
- 複数拠点に分散配置されたクラスタの効率的な管理手法(セッション6:分散システム)
- GAとTD(λ)学習の組み合わせによるゲーム局面評価パラメータの調整(学習1)
- グリッド用シェルGXPの長時間計算のための拡張(HPC-17 : グリッド)
- 2 東京工業大学TSUBAMEにおけるアクセラレータ活用事例(アクセラレータ,再び-スパコン化の切り札-)
- 対訳辞書のグラフ表現を用いた日英対訳テキストの発見(文書処理,質問応答)
- ヘテロ型スーパコンピュータTSUBAMEのLinpackによる性能評価(高性能計算)
- アクセラレータを用いたヘテロ型スーパーコンピュータ上の並列計算(通信プロトコルとインターフェース及びアクセラレータ,SANを用いた高性能コンピュータシステム,及び一般)
- ヘテロ型スーパーコンピュータTSUBAMEのLinpackによる性能評価(HPC-3 : 大規模運用システム(1))
- 次世代光インターコネクトでのMPI通信に関する研究
- プロセス間共通メモリイメージを考慮したマイグレーション最適化(並列/分散コンピューティング,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- プロセス間共通メモリイメージを考慮したマイグレーション最適化 (計算機アーキテクチャ・ハイパフォーマンスコンピューティング・「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 四種プロセッサからなるヘテロ型スーパーコンピュータにおけるLinpackチューニング (計算機アーキテクチャ・ハイパフォーマンスコンピューティング・「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 広域分散ファイルシステムにおけるアクセスパターンと性能を考慮したファイル配置(HPC-13:ファイルシステム,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 5K-4 情報爆発時代のグリッドファイルシステム上での大規模データ管理(情報爆発時代における分散システム技術,一般セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 広域分散環境における大規模データ管理のためのノードグルーピング(HPC-7 : データ管理)
- CHLAC特徴とGridコンピューティングを併用したリアルタイム動作認識(一般セッション(2),文字認識・文書理解)
- CHLAC特徴とGridコンピューティングを併用したリアルタイム動作認識(一般セッション(2), 文字認識・文書理解)
- 5K-2 実世界情報並列計算基盤の開発(情報爆発時代における分散システム技術,一般セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 並列処理のための効率的なトポロジ推定(HPC-10 : 適応環境での通信)
- DisC : ごみ集め機構を備えたC++の分散記憶並列拡張言語
- 3.Javaにおける並列プログラミングサポート(マルチコアを活かすお手軽並列プログラミング)
- グリッドチャレンジテストベッドの構築と運用 : グリチャレテストベッドの作り方(HPC-3 : 大規模運用システム(1))
- 6K-3 情報爆発に対応する耐故障性MPIフレームワークの提案(情報爆発時代におけるスーパーコンピューティング,一般セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- フォールト/リカバリモデルを考慮した耐故障性をもつMPIフレームワークABARISの提案と評価(通信,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 光ネットワークの補助的利用によるHPC性能向上(HPC-4:性能評価,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- グリッド環境におけるMPI_Scatter/Gather通信アルゴリズムの最適化(HPC-1:MPI,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 6K-5 情報爆発時代の光インターコネクト上でのMPI通信アルゴリズム(情報爆発時代におけるスーパーコンピューティング,一般セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 6K-4 情報爆発時代のグリッド環境に対応したMPI集団通信アルゴリズムの最適化(情報爆発時代におけるスーパーコンピューティング,一般セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 6K-2 情報爆発時代へ向けた不均一アーキテクチャにおけるスーパーコンピューティング(情報爆発時代におけるスーパーコンピューティング,一般セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 次世代省電力メモリを用いた並列プログラムの省電力化の評価(ARC-3 : 性能評価およびモデリング,2007年並列/分散/協調処理に関する『旭川』サマー・ワークショップ(SWoPP旭川2007))
- 次世代光インターコネクト上でのMPIアプリケーションの評価(HPC-11 : 通信I)
- CPUおよびGPUを併用するFFTライブラリの提案と評価(HPC-1 : 最適化)
- グリッド環境におけるマルチレーンを用いたMPIコレクティブ通信アルゴリズム(グリッド)
- 情報爆発時代における安全・安心ITシステム基盤(情報爆発時代に向けた新しいIT基盤技術の研究)
- 情報爆発時代における安全・安心ITシステム基盤
- SANを用いた高性能コンピュータシステムの将来像と究極の姿(パネル討論,計算システムとファイルシステム,SANを用いた高性能コンピュータシステム,及び一般)
- 並列オブジェクト指向言語のマルチコンピュータ上における効率的な実装法
- メッセージ衝突を防止する適応的な収集操作アルゴリズム
- DMI:計算資源の動的な参加/脱退をサポートする大規模分散共有メモリインタフェース
- 異種アクセラレータを持つTSUBAMEスーパーコンピュータの Linpack 評価
- OpenCLを用いた異種GPUにおける性能特性に応じた最適化
- OpenCLを用いた異種GPUにおける性能特性に応じた最適化
- GPUにおける耐故障性を考慮した数値計算の電力性能
- CUDA環境における高性能3次元FFT
- ヘテロ型スーパーコンピュータTSUBAME 2.0のLinpackによる性能評価
- データ集約的ワークフローの高精度なシミュレーター
- XQueryによる柔軟な問い合わせが可能な大規模分散環境モニタリングフレームワーク
- ヘテロ型スーパーコンピュータTSUBAME 2.0のLinpackによる性能評価
- ステンシル計算を対象とした大規模GPUクラスタ向け自動並列化フレームワーク
- GPUにおけるモデルに基づいた電力効率の最適化
- ステンシル計算を対象とした大規模GPUクラスタ向け自動並列化フレームワーク
- GPUにおけるモデルに基づいた電力効率の最適化
- "Bare Metal" Cloud: 実マシンを提供するクラウドサービス
- GPUクラスタにおける科学技術計算の自動最適化
- GPUクラスタにおける省電力タスクスケジューリング
- 増分データとErasure Codingを利用した高速なチェックポイント手法
- 広域分散ワークフローのための耐遅延性の高い分散ファイルシステム
- 異種アクセラレータを持つヘテロ型スーパーコンピュータ上のLinpackの性能向上手法
- 分散共有メモリ環境におけるUCTの並列実行
- GPUクラスタを対象にした並列ステンシル計算の自動生成フレームワーク
- 接続を動的に制御するメッセージパッシングシステム(HPC-11 : グリッド(3))(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 並列アプリケーションのトレースログの効率的なオンライン圧縮アルゴリズムの評価
- GPUクラスタを対象にした並列ステンシル計算の自動生成フレームワーク
- GPUにおける性能と消費電力の相関性の解析
- 性能モデルに基づくCPU及びGPUを併用する効率的なFFTライブラリ
- 高いヒープ使用率の下で高速なインクリメンタルGC
- フォールト/リカバリモデルを考慮した耐故障性をもつMPIフレームワークABARISの提案と評価(通信,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 低負荷で多数の計算機をリアルタイムに監視するシステムVGXPの実装(大規模システム,SWoPP2006)
- 姫野ベンチマークのGPUマルチノード実行における通信と演算のオーバーラップによる高速化 〜32GPUで700GFLOPS超を達成〜
- 増分データと Erasure Coding を利用した高速なチェックポイント手法
- 光サーキットネットワークの補助的利用によるHPCアプリケーション性能向上
- 研究の世界に飛び込んで(平成18年度論文賞の受賞論文紹介)
- プロセス間共通メモリイメージを考慮したマイグレーション最適化(並列/分散コンピューティング,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 姫野ベンチマークのGPUマルチノード実行における通信と演算のオーバーラップによる高速化 : 32GPUで700GFLOPS超を達成
- 共有メモリ並列計算機上の並列ガーベージコレクタの性能予測
- スワップコストの動的推定によるメモリの省電力化手法(アクセラレーション/メモリシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 高い耐遅延性を持つガウス消去法(HPC-7: 並列数値計算ライブラリ)
- Portableでrobustなglobal garbage collectorの構築について
- グリーンスパコンTSUBAME2.0における電力危機対応運用
- グリーンスパコンTSUBAME2.0における電力危機対応運用
- TSUBAME 2.0の全貌
- TSUBAME 2.0の全貌
- グリーンスパコンTSUBAME2.0における電力危機対応運用
- グリーンスパコンTSUBAME2.0における電力危機対応運用
- スーパコンピュータTSUBAME 2.0におけるLinpack性能1ペタフロップス超の達成 (コンピューティングシステム Vol.4 No.4)
- GPUメモリ容量を超える問題規模に対応する高性能ステンシル計算法
- GPUメモリ容量を超える問題規模に対応する高性能ステンシル計算法
- TSUBAME2.0におけるMulti-rail InfiniBandネットワークの性能評価
- TSUBAME2.0におけるMulti-rail InfiniBandネットワークの性能評価