MapReduceのネットワーク負荷分析(ネットワーク品質,トラヒック計測,一般)
スポンサーリンク
概要
- 論文の詳細を見る
本研究は分散コンピューティングシステムにおいてMapReduceによる大規模データ処理を実行した際にシステム全体に生じるワークロードをネットワークの観点から分析した結果を報告する.12台の計算機で構成されるHadoopクラスタを利用し,Masterサーバおよび各々のSlaveサーバで取得したMapReduce Jobのログ,およびSlaveサーバ間の通信をキャプチャしたデータを収集した.はじめにMapReduceジョブを構成する各々のタスクとネットワークに生じ得る負荷の関係をケーススタディによって明らかにする.つぎに,MapReduceに与えるパラメタによって,ノード間のデータ転送に用いられるTCPフローのサイズ,持続時間,レートの分布が変わることを示す.最後にMapReduceジョブによるネットワーク負荷を計測する際に注意すべき点について論じる.
- 2010-11-11
著者
-
川原 亮一
日本電信電話株式会社NTTサービスインテグレーション基盤研究所
-
森 達哉
日本電信電話株式会社NTTサービスインテグレーション基盤研究所
-
上山 憲昭
日本電信電話株式会社NTTサービスインテグレーション基盤研究所
-
川原 亮一
NTTサービスインテグレーション基盤研究所
-
森 達哉
NTTサービスインテグレーション基盤研究所
-
上山 憲昭
NTTサービスインテグレーション基盤研究所
-
池田 泰弘
Nttサービスインテグレーション基盤研究所
-
木村 達明
NTTサービスインテグレーション基盤研究所
-
木村 達明
(財)自然史科学研究所
-
KIMURA TATSUAKI
Institute of Natural History
-
森 達哉
Ntt Service Integration Laboratories Ntt Corporation
-
池田 泰弘
日本電信電話株式会社NTTサービスインテグレーション基盤研究所
-
上山 憲昭
日本電信電話(株)NTTサービスインテグレーション基盤研究所
-
川原 亮一
NTTサービスインテングレーション基盤研究所
関連論文
- 3.IPフロー計測技術の応用(IP網トラヒック計測)
- VoDサービスにおけるISP連携の収益配分法の比較 (情報ネットワーク)
- ネットワークトポロジーがコンテンツ並列配信の効果に与える影響の分析(インターネット)
- コンテンツ事前配信における配信抑制とユーザクラスタリングの効果 (ネットワークシステム)
- VoDサービスにおけるブロードキャスト事前配信 (ネットワークシステム)
- ISP型CDNの性能評価(無線・グリッドネットワーク,一般,ネットワークアーキテクチャ(ユビキタスNW,スケールフリーNW,RoN,アクティブNW)高速Ethernet,グリッドNW,センサNW,一般)
- QoSオーバレイネットワーク構成法とその評価(次世代・新世代ネットワークアーキテクチャ,トラヒック計測・制御,サービス品質,ネットワーク管理,一般)
- ネットワークスループットの最大化を目的とした並列ストリーミング配信(輻輳制御,一般,高度プロトコル・ネットワーキング技術(IP及び高位レイヤルーチング・フィルタリング,マルチキャスト,品質・経路制御),IPNWの利用技術(P2P,P4P,オーバレイ,SIP,NGN),ネットワークシステム関連技術(システム構成法,インタフェース,アーキテクチャ,ハードウェア・ソフトウェア・ミドルウェア),一般)
- ファイル転送残量を考慮したP2Pネットワークにおけるファイル共有方式の性能評価(ネットワーク)
- 異なり数上位Nホストの推定および異常検出への応用(トラヒック,一般)
- 提携形ゲームを用いたVoDサービスにおけるISP連携の提案(ポストIPネットワーキング,ネットワークモデル,インターネットトラヒック,TCP/IP,マルチメディア通信,ネットワーク管理,リソース管理,プライベートネットワーク,NW安全性及び一般)
- 1-B-2 提携形ゲームを用いたVoDサービスにおけるISP連携の検討(ゲーム理論(1))
- トポロジが並列ストリーミング配信の効果に与える影響の分析(有線/無線シームレスネットワーク,ハンドオーバ,リレー,分散MIMO,モバイル・アドホックネットワーク,一般)
- トポロジ構造がキャッシュのP2Pトラヒック削減効果に与える影響の分析(フォトニックネットワーク・システム,光制御(波長変換・スイッチング・ルーチング)光ノード技術,WDM技術,マルチレイヤ・クロスレイヤ,次世代トランスポート(高速Ethernet,ASON/OTN),一般)
- B-7-120 P2Pトラヒック削減のための最適キャッシュ設計法(B-7.情報ネットワーク,一般セッション)
- P2Pトラヒック削減を目的にした最適キャッシュ設計法(P2P,一般)
- オーバーレイインフラストラクチャの構築に向けた分散測定(オーバーレイネットワーク技術,研究開発テストベッド構築・利用,一般)
- 網内制御によるP2Pトラヒック転送効率の評価(P2Pネットワーク,マルチキャスト,有線/無線シームレスネットワーク,ネットワーク制御,無線通信一般)
- リンクメトリックの不確実性が経路制御に与える影響の評価(次世代ネットワークアーキテクチャ,次世代ネットワークのオペレーションアーキテクチャ,トラヒック計測・モデリング・品質,オーバレイネットワーク,一般)
- QoSオーバーレイルーティングの性能評価と様々なQosメトリックへの適用(ルーティング,オーバーレイネットワーク,VPN,DDoS,ネットワークセキュリティ,P2P通信,ネットワークソフトウェア,一般)
- B-7-34 上位層トラヒックの変化を考慮したネットワーク設計法の一検討(B-7.情報ネットワーク,一般講演)
- B-7-20 大規模ネットワークの自律クラスタ化手法の提案(B-7.情報ネットワーク,一般講演)
- QoSオーバーレイ経路選択アルゴリズムのトラヒック変動への追従性評価(オーバーレイネットワーク,VPN,NAT,ネットワークセキュリティ,DDoS,P2P及び一般)
- P2P型通信比率の増加に耐える大規模ネットワークトポロジの評価(セキュリティ,信頼性,モバイル,一般)
- 大規模ネットワークの品質把握に向けたクラスタ化手法とそのシミュレーション評価
- 迂回経路候補数に制限がある場合のQoSオーバーレイ経路選択アルゴリズムとその評価
- 大規模分散環境における品質把握に向けたクラスタ化手法とその評価(NW性能管理, NW品質, 一般)
- B-7-64 オーバーレイルーチングの効率化に関する評価(B-7.情報ネットワーク, 通信2)
- B-7-10 大規模分散環境における品質把握に向けたクラスタ化手法の検討(B-7.情報ネットワーク, 通信2)
- オーバーレイルーティングへのP2P技術の応用(ブロードバンドサービス, CDN/P2P/Gridなどのオーバレイネットワーキング技術及び一般)
- B-16-5 エンドホストオーバーレイネットワークを用いたトラヒックエンジニアリングアーキテクチャの提案(B-16. インターネットアーキテクチャ, 通信2)
- VoDサービスにおけるブロードキャスト事前配信(ネットワークソフトウエア(ソフトウエアアーキテクチャ,ミドルウエア),NWアプリケーション,SOA/SDP,NGN/IMS/API,分散制御・ダイナミックルーチング,グリッド,NW及びシステム信頼性,NW及びシステム評価,一般)
- コンテンツ事前配信における配信抑制とユーザクラスタリングの効果(コンテンツ配信)
- IPフロー計測技術の応用
- B-6-100 VoDサービスにおける配信サーバ負荷低減法の性能比較(B-6.ネットワークシステム,一般セッション)
- B-7-74 広域ネットワークの簡易的遅延モニタリング法(B-7.情報ネットワーク,一般セッション)
- B-7-46 TCP型映像配信サービスにおけるバッファ枯渇条件に関する一評価(B-7.情報ネットワーク,一般セッション)
- BS-6-3 差分トラヒック量を利用した異常ボリューム変化特定手法の精度評価(BS-6.ネットワーク情報収集およびセンシングとそのネットワーク制御への活用に関する技術,シンポジウムセッション)
- B-7-73 サンプルパケット数情報を用いた異常トラヒックの検出精度(B-7.情報ネットワーク,一般講演)
- サンプルフロー情報を用いた異常トラヒック検出法の検出精度評価(セキュリティ)
- サンプルパケット数情報を用いた異常トラヒックの検出精度(セキュリティ)
- サンプルフロー情報を用いた異常トラヒック検出法に関する一考察(インターネットの品質評価・品質管理技術,ネットワーク品質,トラヒック計測,一般)
- サンプルフロー情報を用いた異常トラヒック検出法に関する一考察(インターネットの品質評価・品質管理技術,ネットワーク品質,トラヒック計測,一般)
- サンプルフロー情報を用いた異常トラヒック検出法に関する一考察(インターネットの品質評価・品質管理技術,ネットワーク品質,トラヒック計測,一般)
- ISP型CDNの検討(オーバーレイネットワーク,VPN,DDoS,ネットワークセキュリティ,P2P通信,ネットワークソフトウェア,一般)
- iモードのトラヒック特性を考慮した輻輳制御
- iモードのトラヒック特性を考慮した輻輳制御
- B-6-242 PDC パケット移動通信システムにおけるバッファ管理法の一考察
- VoDサービスにおけるISP連携の収益配分法の比較(一般,NGN,VoIP,FMC,自律分散ネットワーク,ソフトウェアエージェント,Webサービス,Web2.0及び一般)
- B-7-27 実測トラヒックに基づくIPフロー分析
- 時間的監視粒度の異常トラヒック検出精度への影響
- large scale NATへのトラヒックのインパクト分析(ネットワークミドルウェア,仮想化技術,グリーニング技術,Webサービス,インターネットサービス,ユビキタスサービス,ソーシャルネットワーク,センサネットワーク,及び一般)
- PCR/MCRを考慮したABRレート制御アルゴリズムの検討
- 実時間アプリケーションのためのキューイング方式の検討
- インターネットバックボーントラヒック測定分析
- 適応型動画像転送方式の分類及び評価
- 適応型動画像転送方式の分類及び評価
- インターネットバックボーントラヒック測定分析
- MapReduceのネットワーク負荷分析(ネットワーク品質,トラヒック計測,一般)
- コンテンツ事前配信における損失補償方式の検討(ネットワーク品質,トラヒック計測,一般)
- B-11-12 コンテンツ事前配信における配信抑制の効果(B-11.コミュニケーションクオリティ,一般セッション)
- オーバレイネットワークによるトラヒック制御の提案(インターネットの測定・性能評価技術,及び一般)
- 長時間帯域占有フローに対応したQoS制御方式とその評価(次世代網の品質、ネットワーク設計、ネットワーク制御、PONにおける帯域制御、アドミッション制御、トラヒックモデリング技術、一般)
- サンプルパケット情報を用いたTCP品質劣化検出のためのフローレート推定法(NW性能管理, NW品質, 一般)
- サンプルパケット情報を用いたTCP品質劣化検出のためのフローレート推定法(NW性能管理, NW品質, 一般)
- B-7-46 オーバーレイQoS制御におけるパス選択の評価(B-7. 情報ネットワーク, 通信2)
- パケットサンプリングによるTCPフロー統計情報推定法とその評価(次世代テレコム環境におけるマネジメント技術及び一般)
- サンプルパケツト情報を用いたTCPフローレベル性能劣化検出法(設備管理,ネットワーク管理,及び一般)
- 異速度フロー集約リンクにおけるTCP品質推定法とその評価(トラヒック,一般)
- 使用率統計情報を用いたTCPフローレベル性能劣化検出法(NW性能管理,品質とコスト,品質と感性,一般)
- 使用率統計情報を用いたTCPフローレベル性能劣化検出法(NW性能管理,品質とコスト,品質と感性,一般)
- 使用率統計情報を用いたTCPフローレベル性能劣化検出法(NW性能管理,品質とコスト,品質と感性,一般)
- 使用率統計情報を用いたTCPフローレベル性能劣化検出法
- 使用率統計情報を用いた帯域管理法(セッションA-1)(アクティブネットワーク,IP-VPN,ネットワークセキュリティ,超高速ネットワーク,P2P通信及び一般)
- フロー統計情報を用いた帯域設計管理法(セッションA-1)(アクティブネットワーク,IP-VPN,ネットワークセキュリティ,超高速ネットワーク,P2P通信及び一般)
- 使用率統計情報を用いた帯域管理法(セッションA-1)(アクティブネットワーク,IP-VPN,ネットワークセキュリティ,超高速ネットワーク,P2P通信及び一般)
- フロー統計情報を用いた帯域設計管理法(セッションA-1)(アクティブネットワーク,IP-VPN,ネットワークセキュリティ,超高速ネットワーク,P2P通信及び一般)
- 使用率統計情報を用いた帯域管理法(セッションA-1)(アクティブネットワーク,IP-VPN,ネットワークセキュリティ,超高速ネットワーク,P2P通信及び一般)
- フロー統計情報を用いた帯域設計管理法(セッションA-1)(アクティブネットワーク,IP-VPN,ネットワークセキュリティ,超高速ネットワーク,P2P通信及び一般)
- B-7-8 フロー統計情報を用いた帯域設計法
- TCPフロー統計情報を用いたIPトラヒック管理手法
- TCPフロー統計情報を用いたIPトラヒック管理手法
- TCPフロー統計情報を用いたIPトラヒック管理手法
- B-7-94 フロー統計情報を用いたIPトラヒック管理手法
- IN2000-42 TCP/IP over ATM over ADSL通信におけるATMトラヒック制御方式について
- TCP/IP over ATM over ADSL通信におけるATMトラヒック制御方式(情報・通信ネットワーク(1))
- B-7-53 TCP/IP over ATM over ADSLの性能評価
- CBR/VBR混在時におけるABRトラヒック特性評価
- CBR/VBR混在時におけるABRトラヒック特性評価
- 広域ネットワークの簡易的遅延モニタリング法(ネットワーク理論・一般,NGN,VoIP,FMC,自律分散ネットワーク,ソフトウェアエージェント,Webサービス,Web2.0及び一般)
- IP網におけるトラヒック特性分析 : アプリケーション毎のトラヒック特性調査(トラヒック,一般)
- IP網におけるトラヒック特性分析 : ユーザ単位の利用状況調査(ユビキタス時代のNWシステム・サービス,一般)
- 4.大規模グラフの分析手法に学ぶ : ミクロな異常トラヒック検出技術(情報通信ネットワークの設計・制御理論の新潮流-異分野からのアプローチ-)
- TCPフロー制御における帯域共有のモデル(待ち行列モデルで考える : 広がる領域)
- SB-6-2 ボトルネックリンクにおけるフロー特性
- B-7-191 アクティブフロー数とTCP性能の関係についての一考察
- WAN回線におけるIPフロー特性分析
- WAN回線におけるIPフロー特性分析
- B-7-43 待ち許容型帯域予約方式
- SB-4-2 フローレート分布のパレート則とトラフィック流量変動の関係について