HPCクラスタシステム上で動作する仮想マシンを用いたHadoopクラスタの構築
スポンサーリンク
概要
- 論文の詳細を見る
近年の HPC システムでは,1 つのノードで処理できる計算量とメモリ量の上限を超えるために,できるだけ高速なインターコネクトで多数のノードを疎結合したクラスタシステムを採用することが一般的である.同時に,HPC アプリケーションも,このような HPC クラスタシステムで実行することを前提として,複数のノードにまたがる並列化が行われてきた.近年,Hadoop に代表されるようなデータ集約的なアプリケーションが注目を集めている.これらのアプリケーションは,従来型 HPC アプリケーションとは異なり,HPC クラスタシステム向けに最適化されていないため,HPC クラスタシステムで処理するためには注意が必要である.本稿では,従来型のHPC アプリケーションに限らず様々なアプリケーションを実行できる HPC クラスタシステムを目指して,HPC クラスタシステムを IaaS (Infrastructure-as-a-Service) 基盤として用いることを試みる.その例題として,HPC クラスタシステム上で動作する仮想マシンを用いて Hadoop クラスタを構成した結果について述べる.
- 2013-09-23
著者
関連論文
- 中間言語を用いたインドネシア語-日本語対訳辞書の拡充
- 非頻出語に対して頑健な日本語固有表現の抽出(語彙・固有表現・同義語)
- 代表・派生関係を利用した日本語機能表現の解析
- 音声に含まれるプライバシ情報の保護(センシングウェブ)
- フィラー予測モデルに基づく話し言葉言語モデルの構築
- 日本語講義音声コンテンツコーパスの作成と分析
- 音声認識用言語モデルにおけるポーズ情報の扱いに関する検討
- 認証基盤と連携した学内メールホスティング環境の構築
- 非頻出語に対して頑健な日本語固有表現の抽出(語彙・固有表現・同義語)
- 日本語講義音声コンテンツコーパスの構築と講義音声認識手法の検討
- フィラー予測モデルを用いた話し言葉言語モデルの音声認識による評価
- 日本語機能表現の自動検出と統計的係り受け解析への応用
- E-063 Context Dependent Class Language Model Based on LSA
- フィラーの書き起こしのないコーパスからのフィラー付き言語モデルの構築(話し言葉処理)
- 機能表現を考慮した統計的日本語係り受け解析(解析・対話)
- 機能表現を考慮した統計的日本語係り受け解析
- 機械学習を用いた日本語機能表現のチャンキング
- フィラー予測モデルに基づくフィラー付き言語モデルの構築
- 講義コンテンツの収集・分析および講義音声の認識手法に関する検討
- 日本語複合辞用例データベースの作成と分析(自然言語,情報処理技術のフロンティア)
- 機械学習を用いた日本語複合辞のチャンキング(抽出, 言い換え)
- 日本語文の規格化
- 辞書定義文の圧縮による定義表現パターンの発見
- 認証基盤と連携したメールホスティング環境の構築
- ポーズを考慮した話し言葉言語モデルの構築
- Shibboleth・CAS連携による東海アカデミッククラウド認証基盤の構築(学生セッション,一般)
- Shibboleth・CAS連携による東海アカデミッククラウド認証基盤の構築
- 管理者が安全に交替できる学内ホスティングサービスの開発
- HPCクラスタシステム上で動作する仮想マシンを用いたHadoopクラスタの構築
- 管理者が安全に交代できる学内ホスティングサービス