Hadoopクラスタの構築と運用(技術開発講演,高度プロトコル・ネットワーキング技術(IP及び高位レイヤルーチング・フィルタリング,マルチキャスト,品質・経路制御,IPNWの利用技術(P2P,P4P,オーバレイ,SIP,NGN),ネットワークシステム関連技術(システム構成法,インタフェース,アーキテクチャ,ハードウェア・ソフトウェア・ミドルウェア),一般)

スポンサーリンク

概要

• 論文の詳細を見る

• 大規模なデータを解析し、その結果をもとに新たなサービスを開発、実行するためのプラットフォームTitanium(Telecommunication and InformaTion ApplicatioN platform In a Ultimate Mobile network)の研究開発を行っている。本プラットフォームにおける大規模データの処理基盤として、1012台のサーバによる大規模クラスタの上にHadoopの実行環境を構築し、運用を行ってきた。本環境は、遠隔地に構築され、通常は無人で運用を行っていて、オープンソースソフトウェアを活用した監視、操作、構築のシステムにより、少ない要員で保守運用を行ってきた。本稿では、大規模クラスタであるHadoop環境の設計と構築について述べ、保守運用の結果について述べる。

• 2012-05-10

著者

• 田中 聡

  株式会社nttドコモ

• 土橋 昌

  東北大学大学院情報科学研究科

• 遠藤 賢

  エヌ・ティ・ティ・ソフトウェア株式会社

• 甲本 健

  ドコモ・テクノロジ株式会社

• 石田 創

  株式会社NTTドコモ

• 趙 晩煕

  株式会社NTTドコモ

• 鈴木 亮平

  株式会社NTTドコモ

• 石井 健司

  株式会社NTTドコモ

• 土橋 昌

  株式会社エヌ・ティ・ティ・データ

• 趙 晩煕

  NTTドコモ先進技術研究所

関連論文

• エージェントアプリケーションへのP2Pプラットフォームの適用(MBL10:アーキテクチャ/プラットフォーム)
• B-6-112 創発型ネットワーキングアーキテクチャJa-Netにおけるプライバシ保護方式(B-6. ネットワークシステム)
• B-5-1 高度ユビキタス環境のためのJa-Netアーキテクチャ(B-5.無線通信システムA(移動通信))
• 実空間を発端とする動的なコミュニティ形成支援アプリケーションのJa-Netへの実装(デモセッション)
• 実空間センサ情報を用いたエンターテインメントアプリケーションのJa-Netへの実装(デモセッション)
• 動的な環境に適応可能な創発型アプリケーションのためのフレームワーク(サービス指向コンピューティング)
• ユーザ嗜好に応じた動的なサービス構成のためのリレーションシップメカニズムの設計と評価(高速ネットワークとマルチメディアアプリケーション)
• 1 アプリケーション創発のための適応型ネットワーキングアーキテクチャ : Ja-Net(ユビキタスコンピューティング世界を実現する革新的ネットワーク技術)
• LC-004 微小アプライアンス用カーネルUKにおけるタスク実行方式(C. アーキテクチャ・ハードウェア)
• 再構成可能なハードウェアによる省電力機構をもつ小型センサノードの実現(無線分散ネットワーク(WDN)特集セッション及び一般講演)
• センサデータ解析情報の放送型配信を用いたセンシングシステム(センサーネットワーク)
• センサデータ解析情報の放送型配信を用いたセンシングシステム(センサーネットワーク)
• エージェントアプリケーションへのP2Pプラットフォームの適用(MBL10:アーキテクチャ/プラットフォーム)
• 寄付行為促進のための IT 募金箱の作成と実運用
• トレイタトレーシング技術におけるトラヒックパターン生成方式に関する考察(トラヒック)
• ネットワーク環境変化に対してロバストなトレイタトレーシング技術(トラヒック計測,パケット処理,オーバーレイネットワーク,VPN,DDoS,ネットワークセキュリティ,P2P通信,ネットワークソフトウェア,一般)
• トレイタトレーシング技術におけるランダムエラー耐性に関する考察
• トラヒックパターンを用いたストリーミングコンテンツ配信におけるトレイタートレーシング技術
• 社会の頭脳システム : モバイル空間統計を支える大規模データ処理基盤 (社会・産業の発展を支える「モバイル空間統計」 : モバイルネットワークの統計情報に基づく人口推計技術とその活用)
• Hadoopクラスタの構築と運用(技術開発講演,高度プロトコル・ネットワーキング技術(IP及び高位レイヤルーチング・フィルタリング,マルチキャスト,品質・経路制御,IPNWの利用技術(P2P,P4P,オーバレイ,SIP,NGN),ネットワークシステム関連技術(システム構成法,インタフェース,アーキテクチャ,ハードウェア・ソフトウェア・ミドルウェア),一般)
• Hadoop on demandによる複数Hadoopクラスタ間でのデータ共有(技術開発講演,ネットワークアーキテクチャ(オーバレイ,P2P、ユビキタスNW,スケールフリーNW,アクティブNW,NGN・新世代NW),次世代パケットトランスポート(高速Ethernet,IP over WDM,マルチサービスパケット技術,MPLS),グリッド,一般)
• Hadoop クラスタの構築と運用

もっと見る 閉じる

スポンサーリンク