PCクラスタ上のスケジューラを利用したMapReduceの実装
スポンサーリンク
概要
- 論文の詳細を見る
MapReduce はクラスタなどの並列計算機上で,巨大なデータセットに対し分散並列処理を行うのを支援する目的で,Google によって考案されたソフトウェアフレームワークである.本研究では,クラスタのジョブスケジューラを利用した MapReduce のシステムを提案している.これにより,共用計算機などで,ジョブスケジューラを利用してジョブを投入しなければならない場合においても,MapReduce を実行することが可能となる.本研究では,Microsoft Windows HPC Server V3 を OS とする Windows クラスタを対象に基礎的なシステムを構築し,その性能の検討を行った.提案システムを Hadoop との比較を行った結果,提案するシステムは Hadoop と同様に分散処理可能であり,かつ,資源の利用を細かく決めることが可能であることが確認できた.
- 2009-07-28
著者
-
吉見 真聡
同志社大学理工学部
-
三木 光範
同志社大学理工学部
-
廣安 知之
同志社大学工学部
-
中尾 昌広
同志社大学生命医科学部
-
廣安 知之
Graduate School Of Engineering Doshisha University
-
廣安 知之
同志社大学
-
三木 光範
同志社大学
-
中尾 昌広
Graduate School of Engineering, Doshisha University
-
山下 尊也
同志社大学工学部
-
中尾 昌広
Graduate School Of Engineering Doshisha University
-
吉見 真聡
同志社大学工学部
-
吉見 真聡
同志社大学 理工学部
-
吉見 真聡
同志社大学
関連論文
- FPGAアレイCubeを用いたレーベンシュタイン距離計算の性能評価(応用1)
- グラフィックプロセッサを用いた自己組織化マップの実装と評価(GPU,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- グラフィックプロセッサを用いた自己組織化マップの実装と評価(GPU,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ClearSpeed製SIMD型マルチコアプロセッサにおける並列アプリケーション実行時間予測手法の検討(ARC-3 : 性能評価およびモデリング,2007年並列/分散/協調処理に関する『旭川』サマー・ワークショップ(SWoPP旭川2007))
- ClearSpeed製コプロセッサの並列ベンチマークによる性能評価と性能向上手法の提案(プロセッサ・アーキテクチャ(2),「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- Cell Broadband Engineを用いたスレッド仮想化環境の提案 (コンピュータシステム)
- ClearSpeed製SIMDプロセッサの通信性能評価(ネットワークオンチップとマルチコア,2009年並列/分散/協調処理に関する『仙台』サマー・ワークショップ(SWoPP仙台2009))
- インターネットの帯域オンデマンドサービスにおけるスケジューリングアルゴリズム(ネットワーク技術,2009年並列/分散/協調処理に関する『仙台』サマー・ワークショップ(SWoPP仙台2009))
- FPGAを用いた汎用生化学シミュレータにおけるハードウェアモジュール自動生成アルゴリズムの実機評価(リコンフィギャラブル応用)
- スレッドレベル並列性を活かす科学技術計算用FPGAシステムの提案(Inventive and Creative Architecture特別セッションIII)
- FPGAを用いた生化学シミュレータにおける反応速度式の類似性に着目した演算パイプライン自動結合アルゴリズム(リコンフィギャラブル応用)
- FPGA上でのシミュレーションに向けた生化学モデルコンパイラの実装(コンピュータシステム)
- FPGAを用いた生化学シミュレータにおける入力ポート制約を考慮した演算パイプラインスケジューリング(応用3)
- 高速アルゴリズムを適用したデータ駆動型確率モデル生化学シミュレータのFPGAへの実装と評価(応用事例,デザインガイア2007-VLSI設計の新しい大地を考える研究会)
- 生化学シミュレータReCSiPにおける反応速度式共有化(アプリケーション,リコンフィギャラブルシステム,一般)
- FPGAを用いた確率モデル生化学シミュレータ(リコンフィギャラブルシステム)
- FPGAを用いた確率モデル生化学シミュレータ
- FPGAを用いた汎用生化学シミュレータReCSiP(応用技術,リコンフィギャラブルシステム論文)
- ReCSiPボードにおける汎用ホストインターフェイスの実装と評価(リコンフィギャラブルシステム,一般)
- FPGAを用いた生化学シミュレータReCSiPにおけるハードウェアリソース消費に関する考察(FPGAとその応用及び一般)
- Cell Broadband Engineを用いたスレッド仮想化環境の提案(ディペンダブルアーキテクシャ及び仮想化,ディペンダブルコンピューティングシステム及び一般)
- B-7-1 室内環境におけるRSS分布を利用した位置推定手法の提案(B-7.情報ネットワーク,一般セッション)
- ClearSpeed製コプロセッサの並列ベンチマークによる性能評価と性能向上手法の提案(プロセッサ・アーキテクチャ(2),「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- シミュレーテッドアニーリングプログラミングの温度並列化
- 球面SOMによるパレート解集合の可視化の検討--ディーゼルエンジン設計問題における事例の検討
- OpenCL互換アクセラレータのマルチノード環境における開発負担軽減のためのミドルウェアの実装
- OpenCL互換アクセラレータのマルチノード環境における開発負担軽減のためのミドルウェアの実装
- 遺伝的アルゴリズムを用いた自動並列化トランスレータの提案
- 遺伝的アルゴリズムの並列計算システム向けフレームワークの提案
- ストリームアプリケーション向け大規模FPGAアレイCUBEの性能評価
- 遺伝的アルゴリズムを用いた自動並列化トランスレータの提案
- 遺伝的アルゴリズムの並列計算システム向けフレームワークの提案
- PCクラスタ上のスケジューラを利用したMapReduceの実装
- Cell Broadband Engine向けオフロード機構の提案
- 球面SOMによるパレート解集合の可視化の検討
- InfiniBandとEthernetの混在環境でのクラスタノード間通信に関する提案
- Cell Broadband Engineを用いたスレッド仮想化環境の提案(ディペンダブルアーキテクチャ及び仮想化,ディペンダブルコンピューティングシステム及び一般)
- Cellクラスタにおけるスレッド仮想化環境に用いるキャッシュ機構の実装
- 相同性検索を用いた2つの時系列データからの類似部分抽出手法とDTWによる類似部分の評価
- 直感的な照明システム操作のための照度分布制御
- Web 上の情報を利用したタンパク質相互作用ネットワークの構築
- 多目的最適化問題における個体群構造の違いによる解性能の評価
- FPGAを用いた高スループット確率モデル生化学シミュレータの設計と評価
- FPGAにおける演算パイプライン共有化のためのデータパス分類手法の提案(高信頼化技術・設計技術)
- Cell クラスタにおけるスレッド仮想化環境に用いるキャッシュ機構の実装
- Cell Broadband Engine 向けオフロード機構の提案
- Cell Broadband Engineを用いたphoton mappingの実装と評価(2010年並列/分散/協調処理に関する『金沢』サマー・ワークショップSWoPP2010)
- C-032 FPGAアレイCubeを用いた文字列編集距離の性能評価(ハードウェア・アーキテクチャ,一般論文)
- RC-012 FPGAに基づく生化学シミュレータにおける反応速度式の類似性に着目したパイプライン自動構築(ハードウェア・アーキテクチャ,査読付き論文)
- 2ZP-9 遠隔地におけるシステムの稼動状況確認と故障支援システム(情報爆発時代における分散処理と運用技術,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 2ZP-8 大規模ログデータの自動解析システム(情報爆発時代における分散処理と運用技術,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- GPUを用いた球面SOMの実アプリケーションによる評価
- GPUを用いた球面SOMの実アプリケーションによる評価
- J-028 知的照明システムで実現する照明の色温度とNIRSにより計測される脳活動の関係(J分野:ヒューマンコミュニケーション&インタラクション,一般論文)
- InfiniBand と Ethernet の混在環境でのクラスタノード間通信に関する提案
- M-068 照度分布を基に個別照度環境を実現する知的照明システム(M分野:ユビキタス・モバイルコンピューティング,一般論文)
- M-044 知的照明システムにおけるワイヤレス照度センサの省電力制御アルゴリズム(M分野:ユビキタス・モバイルコンピューティング,一般論文)
- M-043 知的照明システムにおけるTCP/IP通信を用いたセンサネットワーク(M分野:ユビキタス・モバイルコンピューティング,一般論文)
- M-042 知的照明システムにおけるワイヤレス照度センサの無線性能(M分野:ユビキタス・モバイルコンピューティング,一般論文)
- J-044 イメージ語から初期個体を生成する対話型遺伝的アルゴリズム(J分野:ヒューマンコミュニケーション&インタラクション,一般論文)
- J-029 色度図上における人間の快適照明環境領域(J分野:ヒューマンコミュニケーション&インタラクション,一般論文)
- 多目的最適化問題における個体群構造の違いによる解性能の評価
- J-027 照度・色温度可変型照明システムの構築と執務における最適な照度および色温度(J分野:ヒューマンコミュニケーション&インタラクション,一般論文)
- A-008 照度を個別制御する知的照明システムにおける自動障害検出手法(A分野:モデル・アルゴリズム・プログラミング,一般論文)
- A-006 可視光通信による知的照明システムの照度収束の改善(A分野:モデル・アルゴリズム・プログラミング,一般論文)
- A-005 照度分布計測システムの構築および知的照明システムにおける照度収束の評価(A分野:モデル・アルゴリズム・プログラミング,一般論文)
- 3ZG-2 知的照明システムのためのウェブユーザインタフェース自動生成システム(知的活動支援,学生セッション,インタフェース,情報処理学会創立50周年記念)
- J-026 指定した場所の目標色温度を簡易的に実現する知的照明システム(J分野:ヒューマンコミュニケーション&インタラクション,一般論文)
- J-023 照度・光色可変型知的照明システムを用いた実執務空間における最適な光環境について(ヒューマンコミュニケーション&インタラクション,一般論文)
- 6A-6 分散非同期式知的照明システムの提案(アルゴリズム,一般セッション,ソフトウェア科学・工学,情報処理学会創立50周年記念)
- 6A-5 イーサネット制御を用いた知的照明システム(アルゴリズム,一般セッション,ソフトウェア科学・工学,情報処理学会創立50周年記念)
- A-007 狭い放射角を持つ照明を用いた知的照明システム(A分野:モデル・アルゴリズム・プログラミング,一般論文)
- A-007 ユーザの要求する照度および色温度を実現する知的照明システム : 重回帰分析を用いた収束時間の高速化(モデル・アルゴリズム・プログラミング,一般論文)
- Web 上の情報を利用したタンパク質相互作用ネットワークの構築
- LED照明を用いた知的照明システムの実オフィスへの導入
- 対話型遺伝的アルゴリズムにおける表現型空間の自動生成手法の提案
- A-008 消灯メカニズムを組み込んだ知的照明システム(モデル・アルゴリズム・プログラミング,一般論文)
- A-003 知的照明システムにおける照度センサ位置の学習について(モデル・アルゴリズム・プログラミング,一般論文)
- 病理画像における癌胞巣特徴量抽出アルゴリズムの検討
- FPGAにおける演算パイプライン共有化のためのデータパス分類手法の提案
- 実オフィス環境における任意の場所にユーザが要求する照度を提供する知的照明システムの構築(情報・システム基礎)
- Cell Broadband Engine を用いたスレッド仮想化環境の提案
- Cell Broadband Engineクラスタにおける開発負担軽減のためのミドルウェアの実装と評価(コンピュータシステム,FPGA応用及び一般)
- Cell Broadband Engineクラスタにおける開発負担軽減のためのミドルウェアの実装と評価(コンピュータシステム,FPGA応用及び一般)
- Cell Broadband Engineクラスタにおける開発負担軽減のためのミドルウェアの実装と評価(コンピュータシステム,FPGA応用及び一般)
- Cell/B.E.クラスタにおけるMPI自動拡張ツールの実装と評価
- Cell Broadband Engine クラスタ向けスレッド仮想化環境におけるMapReduceフレームワークの実装と評価
- 複数のGPUを用いた3次元Smith-Waterman法の性能評価
- オフィス内フレームを用いた知的照明システムの構築(オフィスインフォメーションシステム、e-ビジネスモデリング,学生論文)
- 個別照度を提供する照明制御システムにおける可視光通信技術の導入と照度収束の改善(オフィスインフォメーションシステム、e-ビジネスモデリング,学生論文)
- FPGAを用いたフォトンマッピング法高速化手法の提案と性能評価 (リコンフィギャラブルシステム)
- 色度図上における人間の許容照明環境領域
- 創造的業務における最適な照度および色温度
- センサネットワークを用いた大規模照度分布計測システム
- センサネットワークを用いた大規模照度分布計測システム(オフィスインフォメーションシステム,e-ビジネスモデリング)
- Cell Broadband Engineクラスタ向けスレッド仮想化環境におけるMapReduceフレームワークの実装と評価(設計ツールとフレームワーク,組込み技術とネットワークに関するワークショップETNET2012)
- Cell Broadband Engineクラスタ向けスレッド仮想化環境におけるMapReduceフレームワークの実装と評価(設計ツールとフレームワーク,組込み技術とネットワークに関するワークショップETNET2012)
- Cell/B.E.クラスタにおけるMPI自動拡張ツールの実装と評価(設計ツールとフレームワーク,組込み技術とネットワークに関するワークショップETNET2012)
- Cell/B.E.クラスタにおけるMPI自動拡張ツールの実装と評価(設計ツールとフレームワーク,組込み技術とネットワークに関するワークショップETNET2012)
- O-033 分散制御照明システムにおける照度センサ位置の推定精度向上および照度センサの移動に関する検討(ライフ支援,O分野:情報システム)