Hadoop on demandによる複数Hadoopクラスタ間でのデータ共有(技術開発講演,ネットワークアーキテクチャ(オーバレイ,P2P、ユビキタスNW,スケールフリーNW,アクティブNW,NGN・新世代NW),次世代パケットトランスポート(高速Ethernet,IP over WDM,マルチサービスパケット技術,MPLS),グリッド,一般)
スポンサーリンク
概要
- 論文の詳細を見る
大規模なHadoopクラスタの運用に必要な検証用のクラスタを構築し運用する際の大きな問題点として,コストの増加とクラスタ間の大規模データ複製のオーバヘッドが挙げられる.本稿では,ネットワークで接続された単一の物理クラスタ上にユーザレベルでHadoopクラスタを構築するツールであるHadoop on Demand を使って複数のクラスタを構築し,クラスタ間でデータや資源を共有する方法について述べる.これによって,Hadoopクラスタを柔軟に構築することができ,クラスタ間のデータ複製にかかるコストを減らすことができる.
- 2012-10-04
著者
関連論文
- 無線LANの伝搬損失特性を利用した屋内エリア推定
- ユビキタスサービス実現のためのソフトウェアアーキテクチャに関する一検討(テーマセッション(3))(ユビキタスコンピューティングのためのパターン認識・メディア理解,一般)
- 動的な環境に適応するシームレスなサービス連続技術(モバイルコンピューティング)
- メモリ間自律コピー機構を活用したネットワークワイド予備切換え方式
- 公衆通信網における分散処理
- ネットワーク分散処理ノードアーキテクチャMESCARのメモリ間複製機構の設計と評価
- メモリ結合型分散処理ノードアーキテクチャMESCARのインプリメンテーションと性能評価
- D-10-14 メモリ間コピー機構を活用したネットワークワイド予備方式のハードウェア構成
- ネットワーク分解処理ノードアーキテクチャMESCARの改良ハードウェア
- ネットワーク分散処理ノードアーキテクチャMESCARの改良ハードウェア
- ネットワーク分散処理ノードアーキテクチャMESCARの改良ハードウェア
- SB-11-5 EcAgent : 緩やかなコミュニティに基づくエージェントの実行環境
- 2N-7 CORBA準拠ORBのリアルタイム化における緊急要求処理への適用可能性の評価
- 2N-5 CORBA準拠ORBのリアルタイム化におけるアプリケーション記述支援機構
- 分散オブジェクト実行環境の軽量化
- マルチスレッドを用いた分散オブジェクトの実現方式
- 並行オブジェクト指向に基づく分散実時間システムのためのメッセージ通信機構
- メッセージパッシング超並列システムアーキテクチャMESCAR
- 並行動作するオブジェクトのスタック管理
- 通信網ソフトウェア分散処理プラットフォームのカーネル
- B-6-7 VoIPにおけるSIPとH.323間インタワークに関する一検討
- 大規模分散システムにおける並列プログラムの通信と処理状況を同時に表示する可視化ツールの検討(Green IT(3)・アプリケーション(2))
- MapReduceプログラミングモデルに即したReduceフェーズのData Skew動的緩和方法
- O39-5 2歳未満の鶏卵アレルギー患児へのたまごボーロ経口負荷試験のROC曲線による後方視的検討(O39 食物アレルギー食物アレルギー4 食物負荷試験,口演,第61回日本アレルギー学会秋季学術大会)
- O23-3 気管支喘息管理患児におけるMostGraph-01と呼吸機能,FENOの変化の検討(O23 小児気管支喘息1 呼気一酸化窒素,口演,第61回日本アレルギー学会秋季学術大会)
- 症例 カシューナッツ摂取によるアナフィラキシーの1歳男児例
- 2歳未満の鶏卵アレルギー患児への卵ボーロ負荷試験の後方視的検討
- 症例 3-Dグラフィック呼吸抵抗検査を用いた気道可逆性試験による気管支喘息の診断
- 社会の頭脳システム : モバイル空間統計を支える大規模データ処理基盤 (社会・産業の発展を支える「モバイル空間統計」 : モバイルネットワークの統計情報に基づく人口推計技術とその活用)
- P127 ブデソニド吸入により過敏症状をきたした1例(薬物アレルギー,ポスターセッション,第24回日本アレルギー学会春季臨床大会)
- MS10-10 成人の気管支喘息・咳喘息と鼻炎の合併に関する調査(MS10 成人気管支喘息3 臨床,ミニシンポジウム,第24回日本アレルギー学会春季臨床大会)
- MS3-5 成人気管支喘息と咳喘息における呼吸抵抗測定の意義 : モストグラフによる検討(第2報)(MS3 成人気管支喘息2 基礎,ミニシンポジウム,第24回日本アレルギー学会春季臨床大会)
- P193 Webを用いた小児気管支喘息吸入指導の病薬連携(チーム医療,ポスターセッション,第24回日本アレルギー学会春季臨床大会)
- MS5-2 小児気管支喘息患児における呼気位と吸気位でのMostGraph-01測定と呼吸機能検査の基礎検討(MS5 小児気管支喘息1,ミニシンポジウム,第24回日本アレルギー学会春季臨床大会)
- 新生児・乳児期早期に発症したヒトパレコウイルス3型の4例
- へテロジニアスマルチホップロボット群制御無線通信の研究-身近な素材によるマルチホップ通信の応用-
- へテロジニアスマルチホップロボット群制御無線通信の研究-身近な素材によるマルチホップ通信の応用-
- Hadoopクラスタの構築と運用(技術開発講演,高度プロトコル・ネットワーキング技術(IP及び高位レイヤルーチング・フィルタリング,マルチキャスト,品質・経路制御,IPNWの利用技術(P2P,P4P,オーバレイ,SIP,NGN),ネットワークシステム関連技術(システム構成法,インタフェース,アーキテクチャ,ハードウェア・ソフトウェア・ミドルウェア),一般)
- O1-1 低年齢児におけるMostgraphを用いた呼吸抵抗・リアクタンス検査の再現性の検討(強制オシレーション法における呼吸抵抗測定1,口演,第62回日本アレルギー学会秋季学術大会)
- O1-3 気管支喘息児における遮断法(MieroRint)と強制オッシレーション法(MostGraph)による呼吸抵抗検査の比較検討(強制オシレーション法における呼吸抵抗測定1,口演,第62回日本アレルギー学会秋季学術大会)
- O43-3 気管支喘息管理患児における吸気・呼気位のおけるMostGraphと呼吸機能の変化の検討(小児喘息 気道抵抗,口演,第62回日本アレルギー学会秋季学術大会)
- O36-5 気管支喘息患児におけるsingle-breath法とmulti-breath法での呼気中一酸化窒素(eNO)濃度の比較(NO,口演,第62回日本アレルギー学会秋季学術大会)
- P-141 小児救急拠点病院における5年間での気管支喘息救急受診患児の検討(小児喘息(治療・管理),一般演題,第25回日本アレルギー学会春季臨床大会)
- P/O-133 SFC導入による強制オッシレーション法における呼吸抵抗,リアクタンスの変化(小児喘息(治療・管理),一般演題,第25回日本アレルギー学会春季臨床大会)
- P/O-126 SACRA質問票を用いた気管支喘息患児における鼻炎症状と喘息増悪の検討(小児喘息(病態・評価)2,一般演題,第25回日本アレルギー学会春季臨床大会)
- Hadoop on demandによる複数Hadoopクラスタ間でのデータ共有(技術開発講演,ネットワークアーキテクチャ(オーバレイ,P2P、ユビキタスNW,スケールフリーNW,アクティブNW,NGN・新世代NW),次世代パケットトランスポート(高速Ethernet,IP over WDM,マルチサービスパケット技術,MPLS),グリッド,一般)
- 重複部分木情報を利用した事前圧縮を特徴とするSerDeの開発と評価(情報・システム基礎,システム開発論文)