HadoopにおけるJobTracker主導型タスクスケジューリングの実装と評価(分散・並列処理,並列/分散/協調とディペンダブルコンピューティング及び一般)
スポンサーリンク
概要
- 論文の詳細を見る
大規模データを効率良く処理するためのフレームワークの1つにMapReduceがあり, Map関数とReduce関数の2つの関数を記述するだけで容易に分散処理を実現できる. apReduceフレームワークのオープンソースソフトウェアであるHadoopでは,これらの関数を実行するMapタスクとReduceタスクを実行する. TaskTrackerと呼ばれるタスクを実行するスレーブプログラムがマスタプログラムであるJobTrackerにタスクを要求することで, JobTrackerがMapタスクおよびReudceタスクの割り当てを行う.同一クラスタ上で複数のHadoop システムが稼働している環境では,計算資源を複数のHadoopで共有している.それぞれのHadoopの利用可能な計算資源は,別のHadoopの動作によって動的に変動する. Hadoopのタスクスケジューラは,静的に設定されたMapスロット数のタスクをそれぞれのノードに割り当てるため,動的に負荷が変動する状況では計算資源を効率的に利用することは困難である.そこでHadoopシステムの大域的な情報を収集可能なJobTracker同士が協調し,それぞれのTaskTrackerに適切にタスクをスケジューリングするJobTracker主導型のタスクスケジューラの導入が求められる.本稿ではJobTracker主導型タスクスケジューラの予備研究として,クラスタの計算資源を有効に利用するためにJobTrackerがそれぞれの計算機の負荷に基づきTaskTrackerに割り当てるタスクの数を動的に制御する手法を提案し,その評価結果を示す.
- 一般社団法人電子情報通信学会の論文
- 2013-07-25
著者
関連論文
- 4D-4 制約最適化・分散制約最適化問題における半正定値計画法の適用の検討(人工知能(2),一般セッション,人工知能と認知科学)
- ヒステリシス署名による改竄防止機構を備えたログ用ファイルシステムの提案(セッション5-A:不正アクセス対策(1))
- システムコールとライブラリ関数の監視による侵入防止システムの実現(セキュリティ)
- システムコールの実行順と実行位置に基づく侵入検知システムの実現(OS-2 : セキュリティ)
- FPGAを用いた制約最適化問題の解法の検討 (ディペンダブルコンピューティング)
- FPGAを用いた制約最適化問題の解法の検討 (コンピュータシステム)
- 分散制約最適化手法を適用した協調カメラ網アルゴリズムと実装 (ヒューマン情報処理)
- 分散制約最適化手法を適用した協調カメラ網アルゴリズムと実装 (パターン認識・メディア理解)
- 1G-1 出欠データと学習データを用いた学生の修学傾向分析(教育支援システム・教育実践,一般セッション,コンピュータと人間社会)
- D-8-10 制約最適化問題への半正定値計画法の適用についての一検討(D-8. 人工知能と知識処理,一般セッション)
- RM-002 確率的な分散制約最適化手法を用いた分散カメラ資源割り当て手法の実装(ユビキタス・モバイルコンピューティング,査読付き論文)
- RL-001 ライブラリ関数毎のシステムコール監視による侵入検知システムの開発(ネットワーク・セキュリティ,査読付き論文)
- C-018 A new File Transfer Protocol for a Hybrid Cluster-based File System
- A-008 Erlangを用いたマルチエージェントシミュレーションのための基礎的研究(モデル・アルゴリズム・プログラミング,一般論文)
- RC-010 自動メモ化プロセッサにおけるアドレス比較削減手法(ハードウェア・アーキテクチャ,査読付き論文)
- RC-009 自動メモ化プロセッサにおける再利用オーバヘッド削減(ハードウェア・アーキテクチャ,査読付き論文)
- RA-004 ループレス画像処理記述言語の提案と実装(モデル・アルゴリズム・プログラミング,査読付き論文)
- 複数スレッドを用いた自動メモ化プロセッサのオーバヘッド削減手法(ARC-7:マルチコア2,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- DHTを用いた双方向匿名通信路の提案
- 分散制約最適化問題へのソフトアーク整合の適用
- IUE(画像理解用標準ソフトウェア)とCalibrated Image Databaseの現状
- D-8-14 制約最適化問題のハードウェア解法のための処理要素の基礎検討(D-8.人工知能と知識処理,一般セッション)
- 拡張フーリエ変換法によるオプティカルフロー算出手法
- A-7-14 ファイル移動を制限する情報漏洩防止システム(A-7. 情報セキュリティ,一般セッション)
- 解像度調整機能を備える並列動画像処理ライブラリRaVioliの実装
- HMMを用いた動画像注目領域フィルタリング
- クラスタリングを用いたホルター心電図波形分類
- スマートカード認証履歴を用いた位置情報の取得とそれに基づく学内ソーシャルネットワークサービス
- 範囲検索と複数属性のデータの処理に適応した分散データストア
- 複数イタレーションの一括再利用による並列事前実行の高速化
- FPGAを用いた制約最適化問題の解法の検討
- FPGAを用いた制約最適化問題の解法の検討
- FPGAを用いた制約最適化問題の解法の検討
- FPGAを用いた制約最適化問題の解法の検討
- IUE(画像理解用標準ソフトウェア)とCalibrated Image Databaseの現状
- N-011 名古屋工業大学におけるMoodleの構築と運用(N分野:教育・人文科学)
- 分散制約最適化手法を適用した協調カメラ網アルゴリズムと実装(一般,顔・人物・ジェスチャ・行動)
- 高速ディジタル回線を用いた遠隔医療情報システム実験
- 名古屋工業大学情報基盤センターの紹介
- 動画像処理ライブラリRaVioliにおける領域別処理量調整の実現(2010年並列/分散/協調処理に関する『金沢』サマー・ワークショップSWoPP2010)
- GPU及びCell/B.E.に対応した解像度非依存型動画像処理ライブラリRaVioliの提案と実装(2010年並列/分散/協調処理に関する『金沢』サマー・ワークショップSWoPP2010)
- ライブラリ関数呼び出し監視による侵入防止システムの実現
- 不正入力データ除去と関数戻りアドレス保護によるself-healingシステムの実現
- 侵入防止システムにおける動作規則保護機構の開発
- ディスク擬似書き込みと仮想マシンモニタによる機密情報閲覧作成環境の実現
- ディスク擬似書き込みと仮想マシンモニタによる機密情報閲覧作成環境の実現
- ディスク擬似書き込みと仮想マシンモニタによる機密情報閲覧作成環境の実現
- 範囲検索と複数属性のデータの処理に適応した分散データストア
- 分散型画像処理環境VIOS
- 多重解像度表現を用いた閉曲線画像の階層化マッチング手法
- 大規模ニューラルネット"OmbNET-II"
- ログエントリ数を考慮した LogTM のアボート対象選択手法とその評価
- ログエントリ数を考慮したLogTMのアボート対象選択手法とその評価
- 周囲環境照度変化にロバストな搬送部品の印字文字認識
- 不均一な表面反射率をもつ物体の3次元形状計測方式
- 表面反射率が不均一な物体の3次元形状計測
- 3H-2 学生の修学データを用いた修学指導支援システムの検討(教育学習支援システム,一般セッション,コンピュータと人間社会,情報処理学会創立50周年記念)
- FPGAを用いた制約最適化問題の解法の検討
- FPGAを用いた制約最適化問題の解法の検討
- FPGAを用いた制約最適化問題の解法の検討
- FPGAを用いた制約最適化問題の解法の検討
- 分散制約最適化手法を適用した協調カメラ網アルゴリズムと実装(一般,顔・人物・ジェスチャ・行動)
- 自動メモ化プロセッサを支援するプログラム変換手法の提案と実装
- データのアクセス頻度を考慮した動的負荷分散機構の Dynamo への適用
- データのアクセス頻度を考慮した動的負荷分散機構の Dynamo への適用
- データのアクセス頻度を考慮した動的負荷分散機構のDynamoへの適用
- データのアクセス頻度を考慮した動的負荷分散機構のDynamoへの適用
- 解像度非依存型動画像処理ライブラリ RaVioli の提案と実装
- 自動メモ化プロセッサにおける消費エネルギー制御
- 解像度非依存型動画像処理ライブラリの提案と実装
- I-063 解像度非依存型画像処理ライブラリの提案と実装(I分野:グラフィクス・画像)
- LC-005 自動メモ化プロセッサの消費エネルギー評価(ハードウェア・アーキテクチャ)
- 自動メモ化プロセッサの低消費エネルギー化(ARC-7 : 低消費電力アーキテクチャ,2007年並列/分散/協調処理に関する『旭川』サマー・ワークショップ(SWoPP旭川2007))
- 並列化および再利用によるGAの高速化(ARC-5 : マルチプロセッサ応用,2007年並列/分散/協調処理に関する『旭川』サマー・ワークショップ(SWoPP旭川2007))
- 分散ハッシュテーブルによるノード管理を行う匿名通信方式の設計と実装
- 分散ハッシュテーブルによるノード管理を行う匿名通信方式の設計と実装
- 分散ハッシュテーブルによるノード管理を行う匿名通信方式の設計と実装
- 分散ハッシュテーブルによるノード管理を行う匿名通信方式の設計と実装
- 確率的ルーティングアルゴリズムARHを用いた無線LAN環境におけるストリーミング配信実験(ユビキタスネットワーク,ITS,センサーネットワーク,アドホックネットワーク)
- 確率的ルーティングアルゴリズムARHを用いた無線LAN環境におけるストリーミング配信実験(ユビキタスネットワーク,ITS,センサーネットワーク,アドホックネットワーク)
- 状態空間の部分的高次元化法によるマルチエージェント強化学習(分散協調とエージェント)
- 状態空間の部分的高次元化手法を用いたマルチエージェント強化学習法(一般 : マルチエージェントと学習)
- 状態空間の部分的高次元手法を用いたマルチエージェント強化学習法(一般(マルチエージェントと学習))(「社会システムにおける知能」及び一般)
- 強化学習におけるSupport Vector Machineを用いた状態一般化法(人工知能,認知科学)
- 動的な環境下における履歴情報を用いた確率的ルーティング
- 動的な環境下における履歴情報を用いた確率的ルーティング
- 動的な環境下における履歴情報を用いた確率的ルーティング
- 動的な環境下における履歴情報を用いた確率的ルーティング
- 動的な環境下における履歴情報を用いた確率的ルーティング
- 動的な環境下における履歴情報を用いた確率的ルーティング
- 動的環境下におけるProfit Sharing
- 統計的近似とばねモデルを用いたアドホックネットワークにおける端末位置決定手法(位置検出技術, ユビキタスITSとモバイルアプリケーション)
- アドホックネットワークにおけるばねモデルを適応した端末位置決定手法(位置情報とセンサ応用)
- アドホックネットワークにおけるばねモデルを適応した端末位置決定手法(位置情報とセンサ応用)
- アドホックネットワークにおける推定精度を考慮した位置範囲推定法
- ヒステリシス署名による改竄防止機構を備えたログ用ファイルシステムの提案(セッション5-A:不正アクセス対策(1))
- 224.エネルギー差分法の検討(第40回総会会員研究発表)(ディジタル・イメージング-2 画像処理)
- RF-004 階層化された分散制約充足/最適化手法を用いた分散センサ網における観測資源割り当ての検討(人工知能・ゲーム,査読付き論文)
- 不正入力データ除去と関数戻りアドレス保護による self-healing システムの実現
- DHTを用いた双方向匿名通信路の提案