MapReduceプログラミングモデルに即したReduceフェーズのData Skew動的緩和方法
スポンサーリンク
概要
- 論文の詳細を見る
MapReduceでは,Mapフェーズから出力された中間データ(Key-Valueペア)がそのKeyによってグループ化され,担当するReduceタスクが決定される.各中間Keyの出現頻度にばらつきがある場合,各Reduceタスクが担当する中間データの量がばらつき,Data Skewの発生原因となる.本論文では,MapReduceプログラミングモデルに即した,MapReduceクラスタの規模によらず適用可能な,ReduceフェーズのData Skewを緩和する方法を提案し,その評価結果とともに示す.
- 2012-03-15
著者
-
山崎 憲一
株式会社NTTドコモ先進技術研究所
-
中山 誠
(株)NTTドコモ先進技術研究所
-
山崎 憲一
(株)NTTドコモ先進技術研究所
-
田中 聡
NTTドコモネットワーク研究所
-
田中 聡
Nttドコモ ネットワーク研
-
山崎 憲一
芝浦工業大学
-
中山 誠
NTTドコモ先進技術研究所
関連論文
- 全国大会は社会の窓(特別インタビュー,写真で綴る情報処理学会全国大会50年史,50周年記念特集号)
- 携帯電話端末のためのNW支援によるWebアプリケーションキャッシング技術(インターネット)
- グリーンネットワークに向けたリンク省電力化手法(フォトニックネットワーク関連技術,一般)
- 実世界モデリングを用いたトリガー削減方法(位置情報・動線解析(2))
- 環境トリガーに基づくサービス提供プラットフォーム(セッション6)
- 環境トリガーに基づくサービス提供プラットフォーム
- 計算機アーキテクチャ研究会第100回記念歴代主査特別講演
- 記号処理におけるベンチマーク (ベンチマーク)
- サ-バクライアントモデルに基づく情報提供方式 (分散形ソフトウェア開発基本環境)
- 優れたユーザインタフェースを持つデスクトッフ゜LispマシンMacELIS
- デスクトップLispマシンMacELISのハードウェア
- モノとヒトの関係に基づくサービス提供先発見手法(位置・インタラクション(1))
- B-7-211 無線LANのRSSIを利用したユーザの滞在・移動状態判定方式(B-7.情報ネットワーク,一般講演)
- B-7-178 GPS携帯電話による訪問場所抽出のための屋内外判定方法(B-7.情報ネットワーク,一般講演)
- RFIDタグの検出情報に基づく述語の信頼性を考慮した実世界状況記述手法
- 無線LANの伝搬損失特性を利用した屋内エリア推定
- New Technology Reports ネットワークによる移動端末支援技術
- ユビキタスサービス実現のためのソフトウェアアーキテクチャに関する一検討(テーマセッション(3))(ユビキタスコンピューティングのためのパターン認識・メディア理解,一般)
- 環境理解型サービスのための実世界モデル記述手法(フレームワーク)
- LC-004 微小アプライアンス用カーネルUKにおけるタスク実行方式(C. アーキテクチャ・ハードウェア)
- 実時間記号処理システムTAO/SILENTにおける軽量プロセスの実現
- Web2.0とモバイルインターネットの動向(モバイルネットワーク,マルチメディア通信,WEBサービス及び一般)
- 全国大会は社会の窓
- 携帯電話端末のためのNW支援による Web アプリケーションキャッシング技術
- 似たモノどうしをグループ化するためのセンサ用分散ミドルウェア(センサーネットワーク・ユビキタス)
- 似たモノどうしをグループ化するためのセンサ用分散ミドルウェア
- 柔軟なユビキタスサービス提供のためのセンサ情報処理方式
- 動的な環境に適応するシームレスなサービス連続技術(モバイルコンピューティング)
- D-3-6 非同期処理を含むWebアプリケーション部品制御手法(D-3. ソフトウェアサイエンス,一般セッション)
- B-15-24 移動体向け暗号化オンラインストレージ(B-15. モバイルマルチメディア通信,一般セッション)
- B-7-99 WebブラウザにおけるDOM生成についての考察(B-7. 情報ネットワーク,一般セッション)
- B-7-77 オーバレイネットワークにおける階層間連携に関する検討(B-7. 情報ネットワーク,一般セッション)
- B-6-10 Webアプリケーションを考慮したプロキシサーバの検討(B-6. ネットワークシステム,一般セッション)
- B-15-2 移動体向けWeb ApplicationのためのDisconnected operationにおけるリソース優先順位付け手法(B-15.モバイルマルチメディア通信,一般講演)
- B-7-8 サーバ支援型メタ情報生成機構に関する検討(B-7.情報ネットワーク,一般講演)
- B-6-40 複数ネットワークインタフェースを用いた仮想化技術の検討(B-6.ネットワークシステム,一般講演)
- B-7-167 サーバ支援型電子メール検索に関する検討(B-7.情報ネットワーク,一般講演)
- B-7-143 携帯端末に適したWebキャッシュ方式(B-7.情報ネットワーク,一般講演)
- AODVにおけるGhost Attackとその防御法(セッション2:セキュリティ)
- アドホックネットワークにおけるブラックホール攻撃に対する防御法の提案と実装・評価(セッション2:セキュリティ)
- AODVにおけるGhost Attackとその防御法(セッション2:セキュリティ)
- アドホックネットワークにおけるブラックホール攻撃に対する防御法の提案と実装・評価(セッション2:セキュリティ)
- B-7-41 端末間サービス移動における端末及びコンテンツの決定方法(B-7.情報ネットワーク,一般講演)
- IGMP-Snoopingを考慮したマルチキャスト受信者用ハンドオフ(セッションB-2)(アクティブネットワーク,IP-VPN,ネットワークセキュリティ,超高速ネットワーク,P2P通信及び一般)
- IGMP-Snoopingを考慮したマルチキャスト受信者用ハンドオフ(セッションB-2)(アクティブネットワーク,IP-VPN,ネットワークセキュリティ,超高速ネットワーク,P2P通信及び一般)
- IGMP-Snoopingを考慮したマルチキャスト受信者用ハンドオフ(セッションB-2)(アクティブネットワーク,IP-VPN,ネットワークセキュリティ,超高速ネットワーク,P2P通信及び一般)
- 場の意味を考慮したユーザの状況推定(セッション1:ユビキタス1)(ユビキタスモバイルサービス)
- 場の意味を考慮したユーザの状況推定(セッション1 : ユビキタス1)(ユビキタスモバイルサービス)
- モノとヒトの関係に基づくサービス提供先発見手法
- B-7-58 Resource-awareシームレスサービスにおけるサービス移動方式の一検討
- B-7-57 Resource-aware シームレスサービスアーキテクチャ
- B-7-56 Resource-awareシームレスサービスの要求条件
- B-7-55 Resource-aware シームレスサービスのコンセプト
- Resource-awareシームレスサービスアーキテクチャ
- Resource-awareシームレスサービスアーキテクチャ
- メモリ間自律コピー機構を活用したネットワークワイド予備切換え方式
- 公衆通信網における分散処理
- B-7-168 モバイル環境におけるRSSプロキシ技術の提案(B-7.情報ネットワーク,一般講演)
- 広帯域無線アクセスむけデータ送信量自動調整方法の提案 (インターネットコンファレンス2007論文集)
- LL_010 センサネットワークにおける電源残量に基づいたクラスタヘッド選出方法(L分野:ネットワークコンピューティング)
- シームレス通信サービスとその研究開発の動向(シームレス通信サービスのためのネットワーキング技術論文)
- NW支援型分散処理による移動通信のサービス継続技術 : Twin Agentsの実装と評価(ユビキタスサービスを支えるネットワーキング技術論文)
- B-7-89 センサデータを用いたセンサの位置に基づくグループ化(B-7. 情報ネットワーク, 通信2)
- ベイジアンネットワークを用いた情報通知ユーザモデリング手法の検討(テーマセッション(1))(ユビキタスコンピューティングのためのパターン認識・メディア理解,一般)
- 2.インターネットの未来を展望する2-2ユビキタス : ユビキタスサービス(インターネットの歴史と将来展望)
- モバイルサービスの変遷と今後の進展 (インターネットの新しいサービスとその基盤技術, 及び一般)
- 続・キ-ボ-ド談議(2)キ-ボ-ドエンコ-ダを作ろう
- ネットワーク分散処理ノードアーキテクチャMESCARのメモリ間複製機構の設計と評価
- メモリ結合型分散処理ノードアーキテクチャMESCARのインプリメンテーションと性能評価
- A-7-24 Weighted-graph-based privacy protection model for Ubiquitous Computing(A-7. 情報セキュリティ, 基礎・境界)
- 情報検索のための高速日本語形態素解析システム「すもも」 (第54回全国大会 (平成9年前期 於 : 千葉工大) 大会優秀賞受賞論文 (11件)
- 情報検索のための高速日本語形態素解析システム「すもも」
- Lispへのオブジェクト指向の自然な導入
- 融合型言語TAOにおける構造データと未定義値の扱い
- マルチパラダイム言語TAOにおける論理型プログラム処理系の実装
- 実行機構の類似性に着目した関数型言語と論理型言語の融合 (新しいシステムソフトウェア)
- あるマシン工房の事例 : TAO/SILENTの開発
- 記号処理カーネルSILENTのハードウェア構成
- 実時間記号処理のためのイベントボックス
- 実時間記号処理のためのイベントボックス
- TAOのパッケージシステム
- TAOのコンカレンシ・コントロール
- 簡潔な並行言語L0 : 論理型と関数型プログラミングを越えて
- 分散プログラムの動作理解のための分散プロファイラ
- サービス連続性と環境適合性に基づいた端末間サービス移動制御方式(セッション5)(モバイルシームレス)
- 端末間サービス移動におけるサービス連続性に関する主観評価実験(モバイルQos, ユビキタス, アドホックNW, 及び一般)
- 端末間サービス移動におけるサービス連続性に関する主観評価実験(モバイルQos, ユビキタス, アドホックNW, 及び一般)
- 端末間サービス移動のためのシームレスサービス環境プラットホーム(モバイル/ワイヤレスネットワーク)(インターネットアーキテクチャ技術論文)
- 条件クラス : データ抽象なしの多相と継承
- シームレス/ユビキタスサービスサポート (New Technology Report モバイルネットワークAII-IP化特集--モバイルとインターネットの融合を目指して)
- CCC : データの内部表現に依存しないオブジェクト指向
- TAO における論理型プログラミングとその処理方式
- MapReduceプログラミングモデルに即したReduceフェーズのData Skew動的緩和方法
- ユビキタスサービスとその技術課題(ユビキタス・サービス)
- 「日本のマイクロプロセッサ技術」の編集にあたって
- 特集「計算機システムを支える最新技術(インタフェース編)」の編集にあたって
- 特集「計算機システムを支える最新技術(装置編)」の編集にあたって
- TAO/ELISにおける論理型プログラムのコンパイラ
- D-6-24 高速不揮発性メモリを用いた計算機システムに関する考察(D-6.コンピュータシステムC(ソフトウェア),一般セッション)
- 重複部分木情報を利用した事前圧縮を特徴とするSerDeの開発と評価(情報・システム基礎,システム開発論文)