Hadoopのマルチコア実行におけるスレッド集約スケジューリングの効果
スポンサーリンク
概要
- 論文の詳細を見る
我々は、メモリアドレス空間を共有するスレッド間の参照の局所性に着目し、そのようなスレッドのマルチコアプロセッサ上での時分割及び空間分割実行を集約的に制御できる、コア間時間集約スケジューラを提案している。提案スケジューラはマルチコアプロセッサの各プロセッサコア間で共有するキャッシュといったメモリの階層を活用し、プログラムの実行性能を向上させることを目的としている。本稿では、MapRdeuce 型プログラミングモデルのオープンソース実装である Hadoop のアプリケーションを、マルチコアプロセッサシステムで実行する際のノード内マルチスレッド処理における提案スケジューラの効果について評価する。TaskTracker が起動する map/reduce タスクの集約実行を制御することで実行性能の向上が観測できた。
- 2010-07-27
著者
関連論文
- エンタープライズ型プライベートクラウドによる教育環境の性能評価
- 周期性を持つ非同期通信システムのモデリングに関する研究(モデリング(学生セッション))
- 並列分散オペレーティングシステムCEFOSにおける一括システムコール機構の実装と評価
- 緊密な産学連携に基づく自律的なICT人材育成の実践(情報システム教育コンテスト(3))
- 継続概念による割り込みなし並列I/O処理モデル(継続点)
- スレッドの実動作情報に基づく細粒度マルチスレッド制御法(並行処理(2))
- Zero-Wait方式による多数のI/O要求に対する処理のFuce上での実現と評価(OS-2 : 資源管理,2006年並列/分散/協調処理に関する『高知』サマー・ワークショップ(SWoPP高知2006)-研究会・連続同時開催-)
- 細粒度マルチスレッド環境でのスケジューリングオーバヘッド低減機構の評価(リソース制御)
- Fuceプロセッサ上での継続モデルによる並列I/O処理
- 測定可能な個人プロセスを対象とした形式手法導入に関する提案(形式手法(学生セッション))
- 大規模な産学連携による高度ICT人材育成に向けての取り組み
- アドレス空間を共有するスレッドの空間的な集約を行うスケジューラの評価(カーネル)
- アドレス空間を共有するスレッドの空間的な集約を行うスケジューラの評価
- 継続概念を用いたZero-Wait方式によるOS構成法の提案(OS (1))
- 性能モニタリングカウンタによる一括システムコール機構の評価(OS-2:モニタリング)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- マルチスレッド実行機構を考慮したプログラム実行制御法(スレッド・プロセス)
- 細粒度マルチスレッド環境でのスケジューリングオーバヘッド低減機構(スレッド・プロセス)
- OSの処理を多く含む並列処理の効率化を指向した一括システムコール機能(システムソフトウェア)
- B-41 並列分散オペレーティングシステムCEFOSにおけるジョブ実行方式と分散共有メモリ機構(リアルタイムと分散共有メモリ,B.ソフトウェア)
- プロトコルスタックをバイパスするMyrinet用ソケット通信機構
- 共有メモリシステム上での細粒度 non-strict データフロー構造データの生産者・消費者間パイプライン実行
- コア間時間集約スケジューラ活用のためのAPIの実装と評価
- JUnit向け単体テストを対象としたMapReduce型並列分散実行フレームワークの提案
- 集約制御機構を持つコア間時間集約スケジューラの実装と評価
- Hadoopのマルチコア実行におけるスレッド集約スケジューリングの効果
- ドメイン知識を用いた検証に向けた状態遷移図の抽象化方法に関する考察
- JUnit向け単体テストを対象としたMapReduce型並列分散実行フレームワークの提案
- Hadoop のマルチコア実行におけるスレッド集約スケジューリングの効果
- データフローモデルに基づく超並列V言語とその商用並列計算機上の実装について
- 超並列V言語とそのマルチスレッド実行方式の概要
- Datarolマシンの資源管理方式に関する考察
- 機能分散・協調によるロボットシステムの構成
- 大規模な産学連携による高度ICT人材育成に向けての取り組み
- 大規模な産学連携による高度ICT人材教育におけるインターンシップの役割とその効果
- 細粒度マルチスレッド処理向けプロセッサDatarol-IIの構成とその評価
- 並列計算機Datarol-IIのプロセッサエレメントの構成
- スレッド実行機構を導入したDatarolアーキテクチャについて
- 並列分散オペレーティングシステムCEFOSにおける準プリエンプション機能
- 並列分散オペレーティングシステムCEFOSにおける準プリエンプション機能
- 並列分散オペレーティングシステムCEFOSにおける一括システムコール機構の実装と評価
- CPSY2000-57 並列分散オペレーティングシステムCEFOSにおける一括システムコールの機構
- CEFOSオペレーティングシステムのスレッド管理機構
- 並列分散オペレーティングシステム : CEFOS (Communication-Execution Fusion OS)
- PI-46 行動特性に着目した情報通信分野教育でのProject-Based-Learningの実施(ポスター発表I)
- VDM記述からのPromela記述生成における変換手法の提案
- データ型に着目した形式仕様記述からの状態遷移系の抽出(サイバー増大ページ論文概要,新しいソフトウェアの実現,サイバー増大号)
- 非ストリクトデータフロープログラム実行におけるスタックフレームの利用
- 細粒度データフロー言語のWS実装時におけるスレッド結合法の評価
- 関数型プログラム実行のための細粒度並列仮想マシンコードDVMCにおける構造体の静的コピー除去
- データフローに基づくマルチエージェントによる並行プログラミング
- Hadoopを用いた大容量バケット解析システムの設計と実装(トラヒック,NW評価,性能,リソース管理・制御,トラヒックエンジニアリング,NW信頼性・レジリエンシ,一般)
- 分散メモリシステム上での細粒度non-strictデータフロー構造データの生産者・消費者間パイプライン実行
- EARTHアーキテクチャ上でのデータフロー仮想マシンコードDVMCの実行
- 再帰的非ストリクト構造データ生成の効率化
- 分散メモリ実装におけるデータフロー言語の構造データ管理方式
- 分散メモリ実装におけるデータフロー言語の構造データ管理方式
- 分散メモリ型商用並列計算機上でのデータフロー言語の配列参照の効率化
- 既存並列計算機を対象とした細粒度並列仮想マシンコードDVMCからのコードスケジューリング
- Dataolマシンの資源管理方式に関する検討 : プロセス状態検出方法と状態変化制御機構
- マルチメディア情報環境を想定したエージェント指向交換システム
- データフロー概念に基づくマルチエージェント指向交換プログラム構成法
- Hadoopを利用したパケット解析システムにおけるパケット入力方法の改善(一般,モバイル,アドホック,ユビキタス,無線,セキュリティ,マルチアクセス,アクセスネットワーク・UserNetworkInterface,Homeネットワーク,一般)
- 規範的チーム開発プロセスTSPiに基づく産学連携PBLの事例報告-OpenFlowコントローラ開発への形式手法導入-
- Hadoop を利用したパケット解析システムにおけるパケット入力方法の改善
- 関数型言語Validへのオブジェクト指向的記述形式の導入とその実現方式
- 超並列処理記述言語Vによる画像処理アルゴリズムの記述
- 超並列処理記述言語Vによる画像処理アルゴリズムの記述