マルチコアCPU環境における仮想計算機を用いたHadoopシステムの評価
スポンサーリンク
概要
- 論文の詳細を見る
Hadoop とは,大規模データの並列分散処理フレームワークである. Hadoop システムは,大規模データを効率的かつ安全に保持するだけではなく,複数の計算機が効率的に並列処理を行うことで,膨大なデータの高速処理を実現している.近年,仮想化技術が注目を浴びており, Hadoop システムが仮想計算機で構成される場合が想定される.仮想計算機による Hadoop システムの運用は,拡張性,耐故障性,運用コストの面で利点を持つ.その一方で,仮想計算機を管理するための仮想マシンモニタがリソースを必要とするため,計算機本来のリソースを仮想計算機が使いきることはできず,性能低下が懸念される.本報告では,仮想計算機から構成される Hadoop システムと実際の物理マシンから構成される Hadoop システムとの比較実験を行い,性能の評価・分析を行った.比較実験の結果として,仮想計算機を用いた Hadoop システムは,小さいファイルを大量に扱う場合に有利であること,仮想計算機のリソースで扱える程度の負荷の処理では物理マシンとの処理性能の差が少ないことを確認した.
- 2012-09-26
著者
-
角川 裕次
大阪大学大学院情報科学研究科
-
増澤 利光
大阪大学大学院情報科学研究科
-
角川 裕次
広島大学工学研究科
-
大下 福仁
大阪大学大学院情報科学研究科
-
角川 裕次
広島大学工学部
-
角川 裕次
大阪大学情報科学研究科
-
大下 福仁
大阪大学大学院基礎工学研究科情報数理系
-
増澤 利光
大阪大学
-
大下 福仁
阪大
-
角川 裕次
阪大
-
大下 福仁
大阪大学 大学院情報科学研究科 コンピュータサイエンス専攻
関連論文
- キャッシュを行うP2Pシステムにおける時間を基にした評価手法(コンカレントシステム, 一般)
- 大阪大学情報科学研究科におけるソフトウェアデザイン工学高度人材育成への取り組み
- 木ネットワークにおけるビザンチン故障耐性を有する自己安定辺彩色プロトコル
- A Dynamic Reconfiguration Tolerant Self-stabilizing Token Circulation Algorithm in Ad-Hoc Networks (Evolutionary Advancement in Fundamental Theories of Computer Science)
- アドホックネットワーク向けトークン巡回自己安定分散アルゴリズム
- A Universal Self-Stabilizing Mutual Exclusion Algorithm (New Developments of Theory of Computation and Algorithms)
- テスト駆動開発に基づくプログラミング学習支援システム : 初心者開発者のためのセルフトレーニングアーキテクチャ
- 通信遅延が大きな並列計算環境に対するタスクスケジュールのためのクラスタリングアルゴリズム(アルゴリズム・数値計算)
- 通信遅延を考慮したタスクスケジューリングアルゴリズム(アルゴリズム一般)
- 通信遅延を考慮したタスクスケジューリングアルゴリズム
- スタイナー木問題を解く自己安定分散アルゴリズム
- P2Pシステムにおけるブルームフィルタを利用したオーバレイネットワークの構築(セッションB-1:P2P・オーバーレイネットワーク(1))
- P2Pネットワークにおける決定性減衰型ブルームフィルタの提案と検索効率の評価(インターネットの品質評価・品質管理技術,ネットワーク品質,トラヒック計測,一般)
- P2Pネットワークにおけるブルームフィルタを利用したインデックス情報散布法の改良(次世代ネットワーク,SIP・プレゼンス,一般)
- 極大局所リーダー選挙問題を解く分散アルゴリズム
- 無線モバイルユーザのための最適「寄り道」経路の特性(一般,移動通信ワークショップ)
- 構造化オーバレイネットワークにおける故障耐性向上のための経路多重化法(ディペンダブルコンピューティング)
- 分散ハッシュテーブルChordにおける故障耐性向上のための経路の多重化手法(フォトニックネットワークシステム,光ルーチング,ブロードバンドアプリケーション,一般)
- 白板を利用したモバイルエージェントによる効率的なグラフ探索
- 無線LAN環境におけるアトラクター選択を用いた経路選択手法
- モバイルアドホックネットワークにおけるGPSを用いたACOルーティング
- 無線LAN環境におけるアトラクター選択を用いた経路選択手法
- モバイルアドホックネットワークにおけるGPSを用いたACOルーティング
- 類似実行に基づく耐故障分散アルゴリズム理解支援システムの提案(Session 2)
- 領域被覆のためのセンサネットワークアルゴリズム(セッション9-A : アドホックネットワーク・センサネットワーク(4))
- 領域被覆のためのセンサネットワークアルゴリズム(セッション9-A : アドホックネットワーク・センサネットワーク(4))
- モバイルエージェント間ゴシップの移動計算量について
- 動的ネットワークにおける生態系パラダイムに基づく静的資源数制御
- 動的ネットワークにおける生態系パラダイムに基づくモバイルエージェント数制御(エージェント・学習)
- トポロジ変化に対して出力の変化数を最小化する全域木構成分散アルゴリズム
- モバイルアドホックネットワークにおける公平性の高い自己安定相互排除プロトコル(研究速報)
- トポロジ変化の影響を抑えたモバイルアドホックネットワーク向け自己安定相互排除プロトコル(セッション4-A : アドホックネットワーク・センサネットワーク(2))
- トポロジ変化の影響を抑えたモバイルアドホックネットワーク向け自己安定相互排除プロトコル(セッション4-A : アドホックネットワーク・センサネットワーク(2))
- Emulation of ring protocols on trees preserving fault-containment (コンピュテーション)
- 無線ネットワークにおける距離2の彩色を利用したTDMAスケジュール手法(無線・モバイルネットワーク)
- 無線ネットワークにおける距離2の彩色を利用したTDMAスケジュール手法(セッション5: 無線ネットワーク)
- 体験的な分散アルゴリズム協調学習を支援するシステムの提案
- (15)生徒と教師の授業時間内のやりとりを支援するシステムの実装と評価(第4セッション 教育システム(講義・演習)(IV))
- ET2009-86 アルゴリズム学習向け誤り発見型演習のためのカスタマイズ可能な問題自動生成システム(学習データの蓄積・分析・共有/一般)
- 複数グループのオンライン議論を同時にサポートする自動助言システムの構築(セッション議論支援)
- アルゴリズム学習における間違い探し形式の演習課題を自動生成する手法の提案と評価
- アドホックネットワークの経路構築における非協調行動の抑制手法について(アドホックネットワーク,無線ネットワーク,有線/無線シームレスネットワーク,ネットワーク制御,無線通信一般)
- モバイルP2Pにおけるレーン構造を用いた資源探索手法(セッションB-8:P2P・オーバーレイネットワーク(2))
- P2Pシステムにおける動的ランダムオーバーレイの構築手法(セッションB-1:P2P・オーバーレイネットワーク(1))
- モバイルP2Pにおけるレーン構造を用いた資源探索手法(セッションB-8:P2P・オーバーレイネットワーク(2))
- P2Pシステムにおける動的ランダムオーバーレイの構築手法(セッションB-1:P2P・オーバーレイネットワーク(1))
- P2Pシステムにおけるブルームフィルタを利用したオーバレイネットワークの構築(セッションB-1:P2P・オーバーレイネットワーク(1))
- 議論活動における調査資料の活用を支援するシステムHAKASEの構築
- アルゴリズム学習における誤りからの学習を実現する演習課題の自動生成手法(オープンソースソフトウェアの教育利用/一般)
- 大学教育に適した学生ポートフォリオシステム
- 生徒と教師の協調学習授業を支援するインタラクティブなシステムの実現
- 動的環境に於けるコータリ構成アルゴリズム(コンカレントシステム, 一般)
- A-012 分散グループ相互排除アルゴリズム(A.モデル・アルゴリズム・プログラミング)
- Timed Uniform Consensus Protocol Tolerating Crash and Timing Faults
- Timed Uniform Consensus Protocol Tolerating Crash and Timing Faults
- タイミング故障および停止故障に対する故障耐性を有するアトミックブロードキャスト
- 高解像度下での精密作業に適したマウスのデバイスドライバ
- FDBを用いた接続ポート固有のIPアドレスリースが可能なDHCPサーバの設計と実装(サービス管理, ビジネス管理, 料金管理, 及び一般)
- FDBを用いた接続ポート固有のIPアドレスリースが可能なDHCPサーバの設計と実装(5月13日, サービス管理, ビジネス管理, 料金管理, 及び一般)
- A-015 アドホックネットワーク向け自己安定トークン巡回アルゴリズムの実験的評価(A.モデル・アルゴリズム・プログラミング)
- 分散データ構造スキップグラフの探索頻度偏りを考慮した拡張について(セッション3)
- 確率的コーラムシステムに基づく負荷分散アルゴリズムとその実験的評価
- 確率的コーラムシステムを用いた資源割り当てアルゴリズム
- 2-327 ラフ集合を用いたWeb学習ナビゲータの作成((10)e-ラーニングシステム)
- Web上の学習ナビゲータの作成法について(e-Learning教育システムの成果と目指すべきもの/一般)
- 教育目的に応じて観察の抽象度が変更可能な計算機シミュレータECASの計算機構築演習での活用
- Model Checkingを用いた並行プログラミング学習支援システムの試作
- 木ネットワークにおける自己安定エージェント巡回アルゴリズム
- 産業界からの理工系情報学科の研究教育内容への期待と大学の取り組み
- 自己安定パイプライン型フィードバック付ブロードキャストについて
- A-013 局所名前付け自己安定アルゴリズム(A.モデル・アルゴリズム・プログラミング)
- 非同期共有メモリシステムにおける適応型繰り返し改名アルゴリズム
- レジスタ転送レベルデータパスの単一制御並行可検査性に基づく組込み自己テスト法
- 演算器の強可検査性を保証するテスト容易化高位合成
- レジスタ転送レベルデータパスの単一制御並行可検査性に基づく組込み自己テストについて
- レジスタ転送レベルデータパスの単一制御並行可検査性に基づく組込み自己テストについて
- 強可検査性に基づくテスト容易化高位合成
- 強可検査性に基づくテスト容易化高位合成
- 強可検査性に基づくテスト容易化高位合成
- 操作を並行実行可能な自己安定共有ヒープ
- 非同期式状態通信モデルにおける分散アルゴリズムの時間計算量評価の一手法
- K-019 モデルチェッキングを用いたアセンブリ並行プログラミング学習支援システム(K.ヒューマンコミュニケーション&インタラクション)
- P2Pシステムにおける確率的弱コーラムシステムを用いた自己適応的探索手法(セッション4)
- A Weakly-Adaptive Condition-Based Consensus Algorithm in Asynchronous Distributed Systems
- A-016 確率的弱コーラムシステムを用いたP2Pオブジェクト検索アルゴリズムの実験的評価(A.モデル・アルゴリズム・プログラミング)
- 確率的弱コーラムシステムを用いたP2P環境オブジェクト検索アルゴリズム
- プログラムの正しさの理解を目的とした教材作成システム
- センサネットワークにおけるエネルギー消費の少ないトラッキングアルゴリズム
- アルゴリズム学習向け誤り発見型演習のためのカスタマイズ可能な問題自動生成システム
- 複数のフォントフォーマットを透過的に利用できるフォントモジュールVFlib
- プロセスマイグレーションを用いたデータグリッド環境における並列計算システム(コンカレントシステム, 一般)
- オーエンス・ルイス : アンビエント環境制御を用いた知的オフィスチェアの提案(アンビエントインテリジェンス技術とその応用)
- 自己安定分散システムの検証システム
- Randomized Rendezvous of Multiple Mobile Agents in Anonymous Unidirectional Ring Networks (コンピュテーション)
- 同期リングにおけるモバイルエージェント均一配置アルゴリズム (コンピュテーション)
- マルチコアCPU環境における仮想計算機を用いたHadoopシステムの評価
- 匿名単方向リングネットワークにおけるモバイルエージェント集合問題に対する乱択アルゴリズム
- 同期リングにおけるモバイルエージェント均一配置アルゴリズム
- 自己安定分散アルゴリズムの自動検証システム
- 同期リングにおけるモバイルエージェント均一配置アルゴリズム