ネットワーク連携型タスクスケジューリングによるHadoop性能の改善(ソーシャル・ネットワーク,セキュリティ管理,災害時情報流通,オーバーレイネットワーク, P2Pネットワーク,自律分散制御及び一般)
スポンサーリンク
概要
- 論文の詳細を見る
大規模データの分散処理に用いられるHadoopではMapReduce処理により分散処理を実現している.MapReduceではシャッフルと呼ばれる大量のデータ転送を伴う処理が発生するが,現在のHadoopのタスクスケジュール方式はこれを考慮せずにタスクの割当てを行っているため,ネットワークにボトルネックが発生するとジョブ処理が遅延する場合がある.本論文ではHadoopのデータの流れを調査し,タスク割当ての際に各ノードのデータ転送量を観測しこれによりタスクスケジュールを行うスケジューラを提案し,実機環境で評価を行う.
- 2013-01-17
著者
関連論文
- 音楽コンテンツの著作権管理 : フィンガープリントを用いたP2P著作権処理プラットホームの提案(コンテンツ技術,Web情報システム)
- 携帯電話を利用した自己血糖管理システム(iSMBG)の開発(ヘルスケア,一般,モバイルネットワーク,マルチメディア通信,WEBサービス及び一般)
- ファイル転送残量を考慮したP2Pネットワークにおけるファイル共有方式の性能評価(ネットワーク)
- フィルタ共有によるP2Pネットワーク上の有害コンテンツ拡散抑制(インターネットの運用・管理技術及び一般 I,インターネット運用・管理技術及び一般)
- 自己情報コントロールを実現する位置情報利用プラットフォームの検討(コンテキストとセキュリティ,FMC,モバイルネットワーク,情報家電ネットワーク及び一般)
- コンテキストインタプリタとその応用に関する一検討(コンテキストとセキュリティ,FMC,モバイルネットワーク,情報家電ネットワーク及び一般)
- TCPパラメータを用いたP2Pダウンロード制御方式の検討 (情報ネットワーク)
- 音楽コンテンツの著作権管理 : フィンガープリントを用いたP2P著作権処理プラットホームの提案
- P2P映像配信における連携ピア選択方式の提案と評価(ネットワーク構成・制御,マルチホップ,メッシュネットワーク,ネットワーク符号化,無線通信一般)
- 携帯電話による患者データ管理サポートシステムの開発と実験(アプリケーション,ホームネットワーク,オーバーレイネットワーク,RFID及び一般)
- フィルタ共有によるP2Pネットワーク上の有害コンテンツ拡散抑制(インターネットの運用・管理技術及び一般 I,インターネット運用・管理技術及び一般)
- フィルタ共有によるP2Pネットワーク上の有害コンテンツ拡散抑制(インターネットの運用・管理技術及び一般 I,インターネット運用・管理技術及び一般)
- 災害時における次世代携帯電話網の電話疎通率向上方式の検討(ネットワーク)
- P2P技術を用いたサーバ型放送システムに関する検討(コンテンツ配信,NGN,VoIP,コンテンツ配信,IPv6,次世代ネットワーク及び一般)
- 自己情報コントロールを実現する位置情報利用プラットフォームの検討
- セマンティックウェブの概念を用いたコンテキスト理解プラットフォームの提案(インターネットの新しいサービスとその基盤技術及び一般)
- メタデータを利用したコンテンツハンドオーバシステム : MetaPORT(IPv6, インターネットの品質制御技術及び一般)
- ファイル転送時間を考慮したP2Pネットワークにおけるファイル共有方式の提案(P2Pとネットワーク一般,ホームネットワーク,オーバーレイネットワーク,RFID及び一般)
- 災害時における携帯電話の疎通率向上方式の検討(ネットワーク制御,NGN,VoIP,FMC,自律分散ネットワーク,ソフトウェアエージェント,Webサービス,Web2.0及び一般)
- PCR/MCRを考慮したABRレート制御アルゴリズムの検討
- ATM網におけるトラヒック特性の解析 (トラヒック技術の研究)
- TCPパラメータを用いたP2Pダウンロード制御方式の検討(P2P・一般)
- 災害時安否情報の横断検索ネットワークの提案 : 横断検索のための意味マッピングとポリシー制御によるプライバシー保護(「モバイルNWとインターネット/家電NWはどう融合するか?」【標準化(DLNA等), モバイルNW, 家電NW, 情報家電, 及び一般】)
- 災害時安否情報の横断検索ネットワークの提案 : 本人認証サービスを介した横断検索モデルとプライバシー保護機構(「モバイルNWとインターネット/家電NWはどう融合するか?」【標準化(DLNA等), モバイルNW, 家電NW, 情報家電, 及び一般】)
- 災害時における次世代携帯電話網の電話疎通率向上方式の検討
- BitTorrent型P2P-VoDにおける拡張集中管理方式の提案と評価(ネットワーク)
- Webサービスへの電話インタフェース付与 : デジタルデバイドの軽減を目指して(トラヒック計測・制御,ポリシー管理,ネットワーク異常検知,信頼性,認証,ID/名前空間,ネットワークセキュリティ,プライバシー,VPN,DDoS及び一般)
- MPLS網におけるQoSを考慮したパス網制御方式の検討(オーバーレイネットワーク,P2Pネットワーク,自律分散制御及び一般)
- スマートフォンと連携したウェアラブル心疾患監視・警報システムの開発(オーバーレイネットワーク,P2Pネットワーク,自律分散制御及び一般)
- スマートフォンと連携したウェアラブル心疾患監視・警報システムの開発
- やさしい日本語書き換えシステムの基本設計
- ネットワーク連携型タスクスケジューリングによるHadoop性能の改善(ソーシャル・ネットワーク,セキュリティ管理,災害時情報流通,オーバーレイネットワーク, P2Pネットワーク,自律分散制御及び一般)
- データ転送量を考慮したHadoopスケジューラの提案と評価 (情報ネットワーク)