計算サーバ間相互接続網の構造がMapReduce処理のシャッフル完了時間に与える影響について(配送方法)

スポンサーリンク

概要

• 論文の詳細を見る

• データセンターにおける代表的な分散処理機構であるMapReduce処理では,シャッフルと呼ばれる大量のデータ転送が計算サーバ間で行われる.本稿では,計算サーバ間を相互接続するネットワークの構造がMapReduce処理におけるシャツフルの完了時間にどのような影響を与えるかについて考察する.特に本稿では,代表的なネットワーク構造として単純木構造とFat-Tree構造を取り上げ,理論的な検討並びにシミュレーション実験を併用して,相互接続網の構造がシャッフルの完了時間に与える影響について考察する.

• 一般社団法人電子情報通信学会の論文
• 2012-03-01

著者

• 滝根 哲哉

  大阪大学大学院工学研究科電気電子情報工学専攻

• 滝根 哲哉

  Nict

• 森 達哉

  NTTサービスインテグレーション基盤研究所

• 滝根 哲哉

  京都大学大学院情報学研究科

• Takine T

  Department Of Communication Engineering Graduate School Of Engineering Osaka University

• Takine Tetsuya

  The Department Of Communication Engineering Graduate School Of Engineering Osaka University

• 滝根 哲哉

  大阪大学工学部情報システム工学科

• Takine Tetsuya

  The Department Of Applied Mathematics And Physics Graduate School Of Informatics Kyoto University

• 木村 達明

  NTTサービスインテグレーション基盤研究所

• 木村 達明

  (財)自然史科学研究所

• KIMURA TATSUAKI

  Institute of Natural History

• 森 達哉

  Ntt Service Integration Laboratories Ntt Corporation

• 松木 辰真

  大阪大学工学部

• 滝根 哲哉

  大阪大学工学研究科

関連論文

• P2Pファイル共有システムにおける高頻度流通ファイルの実時間計測(システム構成・評価,セッション管理,P2P通信,オーバーレイネットワーク,性能解析・評価,信頼性及び一般)
• 進化ゲーム理論を用いたユーザの多様性がP2Pファイル共有に与える影響に関する一検討(オーバーレイネットワーク,VPN,DDoS,ネットワークセキュリティ,P2P通信,ネットワークソフトウェア,一般)
• マルチソースネットワークコーディングを用いた無線ブロードキャストの性能改善(ネットワークコーディング,解析,マルチホップ,メッシュネットワーク,ネットワーク符号化,無線通信一般)
• 疎密度モバイルアドホック網におけるマルチキャスト通信(アドホック)
• 疎密度モバイルアドホック網におけるXOR演算を用いた転送方式(アドホック)
• 線形ネットワークコーディングとリードソロモン消失訂正符号を用いた高効率ロバスト無線マルチキャスト通信(NW管理,次世代NWアーキテクチャ,次世代NWのオペレーションアーキテクチャ,トラヒック計測・モデリング・品質,オーバレイネットワーク,次世代NWサービス品質,一般)
• マルチレートIEEE 802.11無線LANにおけるウインド制御法(NW管理,次世代NWアーキテクチャ,次世代NWのオペレーションアーキテクチャ,トラヒック計測・モデリング・品質,オーバレイネットワーク,次世代NWサービス品質,一般)
• 無線ブロードキャストのためのマルチソースネットワークコーディング(アドホック,分散制御,オーバーレイネットワーク,VPN,DDoS,ネットワークセキュリティ,P2P通信,ネットワークソフトウェア,一般)
• 疎密度モバイルアドホック網におけるバッファ管理方式(アドホック,分散制御,オーバーレイネットワーク,VPN,DDoS,ネットワークセキュリティ,P2P通信,ネットワークソフトウェア,一般)
• サンプルパケット情報を用いたトラヒック測定分析手法(インターネット性能評価の新潮流)
• 疎密度モバイルアドホックネットワークにおけるMulti-Spreaderルーチング方式(アドホックネットワーク)
• 高パケットレートフローのオンライン検出手法(異常検出とセキュリティ)
• ネットワークコーディングを用いた光マルチキャスト(マルチキャストと一般)
• ネットワークコーディングを用いたアプリケーションレベルマルチキャストのための経路構築法(マルチキャストと一般)
• IEEE802.11e無線LANにおける動的ウインド制御(無線)
• 光バースト交換網における3-Dバーストスケジューリング法(光バースト交換・光パケット交換)
• マルチフラクタル性を考慮したMIB情報に基づく実効帯域推定法(トラヒック)
• 光バースト交換網における専用波長割当を用いた事前衝突回避法
• BMAP/D/c待ち行列における系内客数分布の幾何漸近特性のための十分条件(トラヒック,一般)
• ルータレベルトポロジの構造特性とそのモデル化手法の提案(IPバックボーンネットワーク, フォトニックネットワークの構成/管理/制御プロトコル技術及び一般)
• 「待ち行列」研究部会報告(待ち行列理論の動向)
• STATIONARY QUEUE LENGTH IN A FIFO SINGLE SERVER QUEUE WITH SERVICE INTERRUPTIONS AND MULTIPLE BATCH MARKOVIAN ARRIVAL STREAMS
• Enhanced Fallback+ : 複数のQoS要求を満たす効率的な経路選択アルゴリズム(映像通信, コンテンツ配信ネットワーク, マルチキャスト, 一般)
• SOJOURN TIME IN A QUEUE WITH CLUSTERED PERIODIC ARRIVALS
• B-11-7 ATM伝送系におけるトラヒックシェーピングによる MPEG 映像乱れ改善の適用性
• 2. 通信・放送機構 神戸多段接続リサーチセンターの研究紹介 : 多段接続されたCATV網による通信・放送統合技術に関する研究開発
• CQ2000-34 / TM2000-32 ATM伝送系におけるセルジッタによるMPEG映像乱れの改善手法
• ベストエフォート型サービス/資源予約型サービスにおけるユーザ効用の比較
• 複数のQoS要求を満たす経路選択アルゴリズムFallback+の提案
• 多段接続されたATM網におけるMPEGセル・ジッタによる映像の乱れとその改善方法
• 多対多地点間通信のための経路制御とネットワーク構成法
• 構造化されたマルコフ連鎖と待ち行列 (待ち行列と性能評価理論の新たな展開特集号)
• B-7-155 複数QoSを考慮した経路選択アルゴリズム
• B-7-151 QoSルーチングのためのネットワークマップ構成法
• B-6-14 多段接続されたATM網におけるMPEG2セル・ジッタの統計的性質
• Fallback+:複数のQoS要求を満たす経路選択アルゴリズム
• 空港施設運用における効率とセキュリティの最適化
• トラヒック特性に基づく複数パスへのトラヒック振り分け方法の検討(インターネット及び一般)
• 一般トポロジを持つネットワークにおけるリンクロス率最尤推定法(トラヒック計測・異常検知・一般)
• 大規模施設の混雑現象 : 待ち行列理論によるアプローチ(待ち行列モデルで考える : 広がる領域)
• 左飛び越しのない連続時間2変数マルコフ連鎖の過渡解に対するアルゴリズム的解析(待ち行列(1))
• 帯域予約制御と経路制御を考慮したFRPの性能解析
• 予約帯域の変更を許す高速帯域予約方式の性能評価
• CQ2000-34 / TM2000-32 ATM伝送系におけるセルジッタによるMPEG映像乱れの改善手法
• セルスケジューリングにおける実時間および非実時間トラヒックの遅延解析
• セルスケジューリングにおける実時間および非実時間トラヒックの遅延解析
• セルスケジューリングにおける実時間および非実時間トラヒックの遅延解析
• ATMネットワークにおけるTCPの流体モデルによる性能評価
• マルチレート衛星通信における帯域割り当て法
• BitTorrentの実測に基づくユーザの振る舞いとシステム可用性の評価(ネットワーク品質2,QoS制御,ネットワーク品質,IPv6,IPバックボーンネットワーク,ディペンダブルネットワーク,ネットワークモデル及び一般)
• Performance Comparison of Task Allocation Schemes Depending upon Resource Availability in a Grid Computing Environment(Performance Evaluation, Parallel/Distributed Computing and Networking)
• Performance Analysis of Layer3 Switch : Case of Flow-Driven Connection Setup (IEICE/IEEE Joint Special Issue on Recent Progress in ATM Technologies)
• DTN技術の現状と展望
• Delay Analysis for CBR Traffic in Multimedia Enterprise Network
• An Efficient Agent Control Method for Time-Constrained Applications
• 光バースト交換網における専用波長を用いた全域木形成による衝突回避法
• 光バースト交換網における非衝突波長プレーンの構築(ブロードバンドアクセス、電灯線通信、ホームネットワーク、一般)
• 光バースト交換網における Deflection Routing のための動的バースト廃棄法
• IEEE 802.11無線LANにおける上下フロー間の公平性改善のためのウインド制御法
• Enhanced Fallback+ : An Efficient Multiconstraint Path Selection Algorithm for QoS Routing(Internet)
• Network Map Architecture Using Inter-Agent Communication Techniques for Multiple QoS Routing
• Holonic Network: A New Network Architecture for Personalized Multimedia Communications Based on Autonomous Routing (Special Issue on Telecommunications Network Planning and Design)
• 特集にあたって(待ち行列モデルで考える : 広がる領域)
• A Nonpreemptive Priority MAP/G/1 Queue with Two Classes of Customers
• ベストエフォート型サービス/資源予約型サービスにおけるユーザ効用の比較
• トラヒック特性に基づく複数パスへのトラヒック振り分け方法の検討(インターネット及び一般)
• 光バースト交換網における Deflection Routing のための動的バースト廃棄法
• 光バースト交換網における Deflection Routing のための動的バースト廃棄法
• エレベータシステムの待ち行列理論によるモデル化と性能評価
• Local Poisson Property of Aggregated IP Traffic(Fundamental Theories)
• Inferring Traffic Flow Characteristics from Aggregated-flow Measurement(Special Issue on Selected Papers from SAINT 2002(The 2002 Symposium on Applications and the Internet))
• Inferring Link Loss Rates from Unicast-Based End-to-End Measurement (Special Issue on Internet Technology II)
• 通信網における待ち行列 : 理論の応用と課題 (待ち行列理論の最近の応用)
• バッファ予約を考慮したABTの性能に関する検討
• バッファ予約を考慮したABTの性能に関する検討
• バッファ予約を考慮したABTの性能に関する検討
• ホロニックルーチングのためのネットワークマップ構成法
• ATMネットワークにおけるABT/IT, DTの性能比較
• 多対多地点間通信のためのネットワーク構成の検討
• 分散キューバッファを持つデータ駆動型プロセッサQv-xの性能評価
• ハードウェア論理とプログラム処理の統合的記述とその実現法
• 自動工具交替装置を備えたフレキシブル生産セルの解析
• バッファサイズ1のポ-リングシステムにおける出力過程の解析
• ABS-1-9 高信頼無線ネットワークのためのリンクロス率推定を用いたマルチパス経路制御方式(ABS-1.高信頼通信技術の実現に向けて-産業機器制御、医療及びヘルスケア応用への展開を探る-,シンポジウムセッション)
• ABS-1-9 高信頼無線ネットワークのためのリンクロス率推定を用いたマルチパス経路制御方式(ABS-1.高信頼通信技術の実現に向けて-産業機器制御、医療及びヘルスケア応用への展開を探る-,シンポジウムセッション)
• 待ち行列モデルとモデリング(特別講演)
• マルチホップ無線ネットワークにおけるトポロジーに起因する不公平性の解決法
• マルチホップ無線ネットワークにおけるトポロジーに起因する不公平性の解決法
• マルチホップ無線ネットワークにおけるトポロジーに起因する不公平性の解決法
• 持続的高パケットレートフローのオンライン検出手法(NW解析(2)・計測・検出)
• 階層型3次元水中センサネットワークにおける蓄積運搬転送型経路制御の性能評価(センサNW)
• B-7-44 フロー数平均分散特性とトラヒック管理への応用(B-7. 情報ネットワーク,一般セッション)
• 2-B-9 Working VacationをもつM^X/G/1待ち行列(特別セッション 待ち行列(2))
• 通信ネットワークのトポロジー構成のモデル化と性能評価への応用(ネットワーク管理,ネットワーク品質,一般)
• 通信ネットワークのトポロジー構成のモデル化と性能評価への応用(ネットワーク管理,ネットワーク品質,一般)
• 通信ネットワークのトポロジー構成のモデル化と性能評価への応用(ネットワーク管理,ネットワーク品質,一般)
• フェリー支援型DTNにおける平均配送遅延を最小化するクラスタ群グループ化手法(ネットワークソフトウェア(ソフトウェアアーキテクチャ、ミドルウェア),NWアプリケーション,SOA/SDP,NGN/IMS/API,分散制御・ダイナミックルーチング、グリッド,NW及びシステム信頼性,NW及びシステム評価,一般)
• スパース制約を用いたネットワークトモグラフィにおける観測パス構築法(配送方法)
• 蓄積運搬転送型ルーチングにおける中継先端末選択法(配送方法)
• 計算サーバ間相互接続網の構造がMapReduce処理のシャッフル完了時間に与える影響について(配送方法)

もっと見る 閉じる

スポンサーリンク