分散ファイルシステムの性能監視とボトルネック特定
スポンサーリンク
概要
- 論文の詳細を見る
近年,大容量のデータを一元管理できる分散ファイルシステムへの期待が高まっている.一方で,分散ファイルシステムは,複数のネットワークやサーバで構成されたシステムであるため,ボトルネック箇所や要因を特定しにくいという問題がある.本稿では,ボトルネックが存在する場合の分散ファイルシステムの性能を評価するとともに,分散ファイルシステム上の各サーバの通信ログを用いてボトルネック箇所を特定する手法について述べる.また,本特定結果を利用した分散サーバシステムの運用管理について考察する.
- 2011-03-08
著者
-
大岸 智彦
(株)KDDI研究所ネットワークインテグレーショングループ
-
建部 修見
筑波大学大学院システム情報工学研究科
-
西谷 明彦
株式会社KDDI研究所
-
大辻 弘貴
筑波大学情報学群情報科学類
-
大岸 智彦
KDD研究所
-
大岸 智彦
(株)kddi研究所
-
建部 修見
筑波大 大学院システム情報工学研究科
-
西谷 明彦
(株)KDDI研究所
関連論文
- ISPへのNAT導入によるユーザ影響評価
- 大規模P2Pグリッドでの大容量コンピューティングのためのスケーラブルなプログラミング環境の検討(HPC-7 : 分散環境(1))
- P2P配信技術とその制御に関する標準化動向
- 並列ファイル転送のためのスケジューリングアルゴリズム(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 並列ファイル転送のためのスケジューリングアルゴリズム (計算機アーキテクチャ・ハイパフォーマンスコンピューティング・「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- グリッドデータファームによる太陽地球系物理分野における分散データ型データインテンシブ処理モデルの構築と評価
- 広域ファイルシステムにおける分散メタデータサーバの検討(並列/分散アーキテクチャ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- T2K筑波システムにおけるLinpack性能評価(HPC-4:性能評価,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 一点観測に基づくBGP経路変動の発生源特定手法に関する一考察(モバイルサービス,サービス品質,一般)
- ブロードバンドアクセスにおけるBitTorrent型プログレッシブダウンロードの性能評価(五感メディア,映像/音声サービスの品質,有線無線ネットワークの品質・QoS制御,次世代ネットワークアーキテクチャ,一般)
- UDPによるファイアウォール越えを用いたP2Pオーバーレイネットワーク(HPC-7 : 分散環境(1))
- B-7-79 自動複製機能を有する分散ファイルシステムに関する一考察(B-7.情報ネットワーク,一般セッション)
- Grid Datafarmにおけるスケジューリング・複製手法の性能評価(グリッド基盤ソフト)
- ペタバイトスケールデータインテンシブコンピューティングのためのGrid Datafarmアーキテクチャ
- Grid Datafarmにおけるスケジューリング・複製手法の性能評価
- Grid環境における大規模クラスタ向けジョブマネージメントアーキテクチャの実装及び性能評価
- 広域大規模データ解析のためのGrid Datafarmアーキテクチャ
- ヘテロなクラスタ環境における並列LINPACKの最適化
- P2P配信技術とその制御に関する標準化動向
- 3ZL-4 仮想IPアドレスを用いたプライベートネットワーク内のノードへの透過的アクセス(情報爆発時代における安全,安心ネットワーク技術,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- プライベートネットワーク内のノードをサーバとして外部に公開するための機構(HPC-15 : ネットワーク)
- 遠隔ファイルアクセスにおけるアクセスパターンと遅延の影響
- 遠隔ファイルアクセスにおけるアクセスパターンと遅延の影響
- PCクラスタ間ファイル複製スケジューリング
- クラウドにおける高性能ファイルサービスの検討
- 広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理
- Grid環境における大規模クラスタ向けジョブマネージメントアーキテクチャの実装及び性能評価
- GNU MPを用いたFortranコンパイラomf77の多倍精度浮動小数拡張
- GNU MPを用いたFortranコンパイラomf77の多倍精度浮動小数拡張
- 並列プログラム自動最適化ツールTEA Expertの実並列計算機における評価
- B-7-51 TCP/IP通信システムに対する相互運用性試験におけるDHCP試験アルゴリズム
- 3U-5 プロトコルモニタリングによるネットワーク障害監視システム
- 1R-7 複数プロトコルの振舞いとその関連を解析する汎用インターネットプロトコルアナライザの設計
- インテリジェントTCPアナライザを用いたTCPプログラムの動作分析
- 計算素粒子物理学分野の国際データグリッドILDGと国内グリッドJLDG(グリッドI)
- B-16-1 BGP経路可用率に基づくIP網の経路安定性に関する一考察(B-16. インターネットアーキテクチャ,一般セッション)
- 広域ファイルシステムHGFSのための分散メタデータサーバの実装と性能評価
- 広域ファイルシステムにおける分散メタデータサーバの検討(並列/分散アーキテクチャ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 広域分散ファイルシステムGfarmのMPI-IOの実装と評価
- マルチグリッド環境における効率的な監視システムに関する研究
- BGPルートフラップ検出手法の提案(次世代網の品質、ネットワーク設計、ネットワーク制御、PONにおける帯域制御、アドミッション制御、トラヒックモデリング技術、一般)
- B-7-127 BGPルートフラップ推定に関する一考察(B-7.情報ネットワーク,一般講演)
- B-6-95 Network-aware P2Pシミュレータの実装(B-6.ネットワークシステム,一般セッション)
- Network-aware P2Pシミュレータによるコンテンツ配信特性の評価(コンテンツ配信)
- 接続障害時の経路検索を目的としたBGPデータベースの実装とその性能評価(五感メディア,映像/音声サービスの品質,ワイヤレスネットワークの品質,次世代ネットワークアーキテクチャ,一般)
- イントラネット向け区間品質推定システム(アプリケーション品質,モバイルP2P,ユビキタスネットワーク,アドホックネットワーク,センサネットワーク,一般)
- 広域分散ファイルシステム Gfarm 上での MapReduce を用いた大規模分散データ処理
- Grid RPCにおける広域データ管理レイヤの利用(グリッド)
- 1ZC-2 クラウドコンピューティングにおける高性能ファイルシステムの検討(クラウドコンピューティング,学生セッション,ネットワーク,情報処理学会創立50周年記念)
- e-サイエンス推進のための広域分散ファイルシステムの適用と評価
- 2L-2 MapReduceにおけるファイルシステムの性能評価(並列システムソフトウェア,学生セッション,アーキテクチャ,情報処理学会創立50周年記念)
- B-6-30 ネットワーク優先度を用いたP2Pコンテンツ配信のダウンロード性能に関する実験評価(B-6.ネットワークシステム,一般セッション)
- B-6-113 ネットワーク優先度を用いたP2Pコンテンツ配信に関する実験評価(B-6.ネットワークシステム,一般セッション)
- L-014 分散ファイルシステムにおける冗長化方式の一検討(L分野:ネットワーク・セキュリティ,一般論文)
- デ-13 複数AS連携によるドメイン間通信の耐障害性向上(デモセッション,ネットワーク,情報処理学会創立50周年記念)
- 1点観測に基づくBGP経路変動と発生箇所の推定方式の提案と実験評価(インターネット)
- BGPメッセージのクラスタ化手法に関する一考察(インターネットの品質評価・品質管理技術,ネットワーク品質,トラヒック計測,一般)
- BGPメッセージのクラスタ化手法に関する一考察(インターネットの品質評価・品質管理技術,ネットワーク品質,トラヒック計測,一般)
- BGPメッセージのクラスタ化手法に関する一考察(インターネットの品質評価・品質管理技術,ネットワーク品質,トラヒック計測,一般)
- LSAの広報パターン解析に基づくOSPF障害特定(インターネット及び一般)
- LSAの広報パターン解析に基づくOSPF障害特定(インターネット及び一般)
- BGP経路障害推定技術の現状と今後の動向(インターネットの測定・性能評価技術及び一般)
- B-7-11 一点観測に基づくBGP経路変動の発生源特定手法の精度に関する一考察(B-7.情報ネットワーク, 通信2)
- BS-8-1 ユビキタス時代の経路障害の発生源特定手法に関する一考察(BS-8. ユビキタスサービス・ネットワークの運用・管理技術, 通信2)
- L-015 分散サーバシステムの自律的な運用方法の検討(L分野:ネットワーク・セキュリティ,一般論文)
- B-6-48 IP運用者訓練システムにおける実ルータと仮想ルータの入替え手法に関する一考察(B-6. ネットワークシステム,一般セッション)
- クラスタ間高速ファイル転送方式の提案と評価
- 並列ファイル転送のためのスケジューリングアルゴリズム(ファイルシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- B-7-14 経路別トラヒック解析方式に関する一考察
- 広域分散ファイルシステムGfarm v2の実装と評価(グリッドI)
- 広域ファイルシステムのための分散メタデータサーバの設計
- 広域分散ファイルシステムGfarmのMPI-IOの実装
- 一点観測に基づくBGP経路変動の発生源特定手法に関する一考察(モバイルサービス,サービス品質,一般)
- ギガビットレートに対応したパケットヘッダ収集方式の検討(テーマ:インターネットトラヒックの計測、分析、及び一般)
- パッシブなトラヒック収集に基づく集約経路別ネットワーク品質解析法の提案
- リソースネームスペース管理サービスの負荷分散手法の提案(HPC-6:グリッド,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 6ZJ-4 リソースネームスペース管理サービスの実装(情報爆発時代における並列分散処理技術,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 広域分散環境を提供するHPCIシステムソフトウェア基盤の設計概要と共有ストレージ構築
- 分散ファイルシステムの性能監視とボトルネック特定
- Cephのメタデータサーバの冗長性の調査
- B-6-91 VoIP 通信における RTCP ジッタと IP パケット遅延変動とのマッピングに関する一検討
- B-6-93 BGP経路障害検出手法に関する一考察(B-6. ネットワークシステム)
- RTP/RTCPのパッシブ測定に基づくVoIP品質管理方式の一検討
- RTP/RTCPのパッシブ測定に基づくVoIP品質管理方式の一検討
- B-6-40 キャッシュサーバ配置場所によるISP網内トラフィックの評価(B-6. ネットワークシステム,一般セッション)
- B-7-57 IP位置情報を用いた低遅延P2Pネットワーク構築手法の提案(B-7. 情報ネットワーク,一般セッション)
- 片方向IPトラヒックからTCPレベルの統計情報を収集するパフォーマンスモニタの設計
- D-6-19 インターネット用パフォーマンスモニタの性能評価
- インターネット用パフォーマンスモニタの実装とその解析例
- インターネット用パフォーマンスモニタの実装とその解析例
- インターネット用パフォーマンスモニタの実装とその解析例
- コスト効率を考慮したキャッシュサーバ配置によるISP網内トラフィックの評価 (ネットワークシステム)
- アクセスパターンと回線遅延を考慮した遠隔ファイルアクセスの最適化 (コンピューティングシステム Vol.4 No.4)
- B-7-5 IP位置情報を用いた低遅延P2Pネットワーク構築手法の性能評価(B-7.情報ネットワーク,一般セッション)
- 低遅延オンラインゲームにおけるIP位置情報を用いたユーザマッチングの解析的評価 (コミュニケーションクオリティ)
- コスト効率を考慮したキャッシュサーバ配置によるISP網内トラフィックの評価(トラヒック,NW評価,性能,リソース管理・制御,トラヒックエンジニアリング,NW信頼性・レジリエンシ,一般)
- B-7-18 低遅延P2Pネットワーク構成手法におけるIP位置情報を用いたユーザマッチングの解析的評価(B-7. 情報ネットワーク,一般セッション)
- スマートフォンを用いた人の混雑度推定手法の提案と評価
- 低遅延オンラインゲームにおけるIP位置情報を用いたユーザマッチングの解析的評価(ネットワーク品質,ネットワーク管理・計測,ネットワーク仮想化,一般)
- A-9-3 ログ遷移分析を用いた異常検知手法に関する一考察(A-9.信頼性,一般セッション)