GPUを考慮したMapReduceのタスクスケジューリング
スポンサーリンク
概要
- 論文の詳細を見る
大規模データ処理のためのプログラミングモデルとして MapReduce モデルがスケーラブルな並列処理が可能となるため注目されている。一方、GPGPU と呼ばれる、GPU を汎用計算に応用する技術の研究・開発が進んでおり、GPU のスーパーコンピュータやクラウドへの導入が進みつつある。しかし、MapReduce のタスクを CPU・GPU に資源を割り振る方法は、GPU 特性の影響からアプリケーションごとに性能は異なるため自明ではない。CPU と GPU が混在する不均質な大規模環境を想定し、CPU 上と GPU 上で実行されている Map タスクの動的なプロファイルを利用してジョブ実行時間を最小化するハイブリッドオンラインスケジューリングを提案する。K-Means アプリケーションで実験を行った結果、CPU のみの使用に対し、2GPU の使用とスケジューリングアルゴリズムの適用をした場合、CPU のみにスケジュールした場合に比べ、ジョブ実行時間において 1.02-1.93 倍の高速化を達成した。
- 2010-07-27
著者
-
松岡 聡
国立情報学研究所
-
松岡 聡
東京工業大学
-
佐藤 仁
東京工業大学
-
松岡 聡
東京工業大学:国立情報学研究所
-
白幡 晃一
東京工業大学
-
松岡 聡
東京工業大学情報理工学研究科数理・計算科学専攻
-
松岡 聡
東工大:国情研
関連論文
- 異種アクセラレータを持つTSUBAMEスーパーコンピュータのLinpack評価(GPGPUコンピューティングの数理)
- 四種プロセッサからなるヘテロ型スーパーコンピュータにおけるLinpackチューニング(並列アプリケーション実装,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- GPU向けソフトウェアECCの性能評価(GPU,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 四種プロセッサからなるヘテロ型スーパーコンピュータにおけるLinpackチューニング(並列アプリケーション実装,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- GPU向けソフトウェアECCの性能評価(GPU,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- GPU向けソフトウェアECCの性能評価 (計算機アーキテクチャ・ハイパフォーマンスコンピューティング・「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ヘテロ並列環境のための省電力タスクスケジューリング(並列計算,SWoPP佐賀2008-2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ)
- ソフトウェアECCによるGPUメモリの耐故障性の実現と評価(信頼性とセキュリティ,SWoPP佐賀2008-2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ)
- 複数GPUにおけるセルフスケジューリングによる並列数値演算(ARC-5:並列処理1,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 大規模計算環境におけるユーザ満足度を考慮した資源管理へむけて(並列処理環境,2009年並列/分散/協調処理に関する『仙台』サマー・ワークショップ(SWoPP仙台2009))