Hadoopを利用したパケット解析システムにおけるパケット入力方法の改善(一般,モバイル,アドホック,ユビキタス,無線,セキュリティ,マルチアクセス,アクセスネットワーク・UserNetworkInterface,Homeネットワーク,一般)
スポンサーリンク
概要
- 論文の詳細を見る
ネットワークの高速化に伴いその解析対象となるデータ量は膨大となり,高速な分析が難しくなってきている.著者らはこの課題に対してHadoopを利用した分散処理による大容量パケットデータの解析システムを提案し,設計及び実装を行ってきた.本報告では,同解析システムの評価を通じて明らかとなった性能ボトルネックと,それに対する改善の適用について述べる.さらに,IAサーバ13台からなるHadoopクラスタでの評価の結果,この改善によりデータ解析に要する時間が最大で50%短縮されたことを示す.
- 2011-12-08
著者
-
日下部 茂
九州大学大学院システム情報科学研究院
-
荒川 豊
九州大学大学院システム情報科学府・研究院
-
溝上 琢也
九州大学大学院システム情報科学府
-
溝上 琢也
九州大学大学院システム情報科学府:九州大学大学院システム情報科学研究院
-
日下 部茂
九州大学大学院総合理工学研究科
-
原田 薫明
Ntt西日本研究開発センター
-
成冨 隆斗
九州大学大学院システム情報科学府・研究院
-
川口 賢太
九州大学大学院システム情報科学府・研究院
-
美馬 浩志
九州大学大学院システム情報科学府・研究院
-
荒川 豊
九州大学大学院システム情報科学研究院
-
日下部 茂
九州大学大学院システム情報科学府・研究院
-
本田 光秀
九州大学大学院システム情報科学府・研究院
-
荒川 豊
九州大学大学院システム情報科学府|研究院
-
荒川 豊
九州大学大学院システム情報学府・研究院
関連論文
- エンタープライズ型プライベートクラウドによる教育環境の性能評価
- 技術展示 ネットワーク連携コンテキストアウェア日本語入力支援システムの実装 (ユビキタス・センサネットワーク)
- 技術展示 ネットワーク連携コンテキストアウェア日本語入力支援システムの実装 (モバイルマルチメディア通信)
- 周期性を持つ非同期通信システムのモデリングに関する研究(モデリング(学生セッション))
- 無線LAN位置推定における誤差補正手法の一検討(Work in Progress,ワイヤレス環境でのアプリケーション品質,P2P/アドホックネットワーク,画像符号化,ストリーム技術,信頼性,一般)
- 並列分散オペレーティングシステムCEFOSにおける一括システムコール機構の実装と評価
- 緊密な産学連携に基づく自律的なICT人材育成の実践(情報システム教育コンテスト(3))
- 継続概念による割り込みなし並列I/O処理モデル(継続点)
- スレッドの実動作情報に基づく細粒度マルチスレッド制御法(並行処理(2))
- Zero-Wait方式による多数のI/O要求に対する処理のFuce上での実現と評価(OS-2 : 資源管理,2006年並列/分散/協調処理に関する『高知』サマー・ワークショップ(SWoPP高知2006)-研究会・連続同時開催-)
- 細粒度マルチスレッド環境でのスケジューリングオーバヘッド低減機構の評価(リソース制御)
- 無線LAN環境における主成分分析を用いたハイブリッド位置推定手法(ユビキタス・モバイル,システム開発論文)
- 無線LAN位置推定システムにおける正準相関分析を用いたデバイス適応手法(ユビキタス・モバイル,システム開発論文)
- Fuceプロセッサ上での継続モデルによる並列I/O処理
- 測定可能な個人プロセスを対象とした形式手法導入に関する提案(形式手法(学生セッション))
- 大規模な産学連携による高度ICT人材育成に向けての取り組み
- アドレス空間を共有するスレッドの空間的な集約を行うスケジューラの評価(カーネル)
- アドレス空間を共有するスレッドの空間的な集約を行うスケジューラの評価
- 継続概念を用いたZero-Wait方式によるOS構成法の提案(OS (1))
- 性能モニタリングカウンタによる一括システムコール機構の評価(OS-2:モニタリング)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- マルチスレッド実行機構を考慮したプログラム実行制御法(スレッド・プロセス)
- 細粒度マルチスレッド環境でのスケジューリングオーバヘッド低減機構(スレッド・プロセス)
- OSの処理を多く含む並列処理の効率化を指向した一括システムコール機能(システムソフトウェア)
- B-41 並列分散オペレーティングシステムCEFOSにおけるジョブ実行方式と分散共有メモリ機構(リアルタイムと分散共有メモリ,B.ソフトウェア)
- プロトコルスタックをバイパスするMyrinet用ソケット通信機構
- 共有メモリシステム上での細粒度 non-strict データフロー構造データの生産者・消費者間パイプライン実行
- 無線伝送路の可逆性を用いた小型携帯端末のための共有情報生成方式の提案(DPS/MBL合同セッション センサネットワーク)
- 無線メッシュネットワーク上の測位システムにおける観測データ集約による通信量削減手法の提案 (モバイルマルチメディア通信)
- 無線メッシュネットワーク上の測位システムにおける観測データ集約による通信量削減手法の提案(モバイルコンピューティング、モバイルアプリケーション、ユビキタス通信、モバイルマルチメディア通信及び一般)
- ネットワーク連携コンテキストアウェア日本語入力支援システムの実装(モバイル P2P,ユビキタスネットワーク,アドホックネットワーク,センサネットワーク,一般)
- ネットワークを用いたコンテキストアウェア日本語入力支援システムの提案(モバイル,アドホック,ユビキタス,無線,セキュリティ,マルチアクセス,アクセスネットワーク・User Network Interface,Homeネットワーク,一般)
- フィーチャモデル自動描画アルゴリズムの提案と実装
- B-15-9 指向性無線LANの信号強度ピーク値を用いた被写体方向推定手法(B-15.モバイルマルチメディア通信,一般セッション)
- B-15-18 ネットワーク連携コンテキストアウェアIMEの高速化手法(B-15.モバイルマルチメディア通信,一般セッション)
- B-15-8 赤外線リモコンを用いた直感的な機器選択補助手法の検討(B-15.モバイルマルチメディア通信,一般セッション)
- マルチパスの伝送路特性に基づく共有情報生成方式の認証への応用(学生セッション)
- 無線メッシュネットワークにおける端末位置推定のためのチャネル割当方式の提案(学生セッション)
- コア間時間集約スケジューラ活用のためのAPIの実装と評価
- 未来社会をプロデュースするICT : 12.近距離無線通信を直感的にする-実空間を融合する通信技術の実現に向けて-
- Twitter分析に基づく位置依存文字列の抽出
- Twitterにおけるコンテキストと単語の相関関係分析
- Twitterにおけるコンテキストと単語の相関関係分析
- Twitterにおけるコンテキストと単語の相関関係分析
- Twitterにおけるコンテキストと単語の相関関係分析
- JUnit向け単体テストを対象としたMapReduce型並列分散実行フレームワークの提案
- B-15-25 メッシュネットワーク上での位置推定のための通信量削減手法(B-15.モバイルマルチメディア通信,一般セッション)
- B-15-18 建物の構造を考慮した屋内位置推定手法の一検討(B-15.モバイルマルチメディア通信,一般セッション)
- 集約制御機構を持つコア間時間集約スケジューラの実装と評価
- Hadoopのマルチコア実行におけるスレッド集約スケジューリングの効果
- ドメイン知識を用いた検証に向けた状態遷移図の抽象化方法に関する考察
- B-15-11 無線LAN位置推定におけるプローブ要求のフィルタリング手法(B-15.モバイルマルチメディア通信,一般セッション)
- JUnit向け単体テストを対象としたMapReduce型並列分散実行フレームワークの提案
- フィーチャモデル自動描画アルゴリズムの提案と実装
- Twitter 分析に基づく位置依存文字列の抽出
- Hadoop のマルチコア実行におけるスレッド集約スケジューリングの効果
- データフローモデルに基づく超並列V言語とその商用並列計算機上の実装について
- 超並列V言語とそのマルチスレッド実行方式の概要
- 無線LANの指向性アンテナを利用した被写体方向推定の検討
- 無線LANの指向性アンテナを利用した被写体方向推定の検討
- Twitter におけるコンテキストと単語の相関関係分析
- Twitter におけるコンテキストと単語の相関関係分析
- Twitter におけるコンテキストと単語の相関関係分析
- Twitter におけるコンテキストと単語の相関関係分析
- ネットワーク連携コンテキストアウェア日本語入力支援システムの実装(モバイル P2P,ユビキタスネットワーク,アドホックネットワーク,センサネットワーク,一般)
- Datarolマシンの資源管理方式に関する考察
- 機能分散・協調によるロボットシステムの構成
- 大規模な産学連携による高度ICT人材育成に向けての取り組み
- 大規模な産学連携による高度ICT人材教育におけるインターンシップの役割とその効果
- 細粒度マルチスレッド処理向けプロセッサDatarol-IIの構成とその評価
- 並列計算機Datarol-IIのプロセッサエレメントの構成
- スレッド実行機構を導入したDatarolアーキテクチャについて
- 並列分散オペレーティングシステムCEFOSにおける準プリエンプション機能
- 並列分散オペレーティングシステムCEFOSにおける準プリエンプション機能
- 並列分散オペレーティングシステムCEFOSにおける一括システムコール機構の実装と評価
- CPSY2000-57 並列分散オペレーティングシステムCEFOSにおける一括システムコールの機構
- CEFOSオペレーティングシステムのスレッド管理機構
- 並列分散オペレーティングシステム : CEFOS (Communication-Execution Fusion OS)
- PI-46 行動特性に着目した情報通信分野教育でのProject-Based-Learningの実施(ポスター発表I)
- コンテキストアウェアIMEの実現へ向けた動的辞書生成手法の提案
- Twitterを用いたコンテキストと入力文字列の相関関係分析
- VDM記述からのPromela記述生成における変換手法の提案
- データ型に着目した形式仕様記述からの状態遷移系の抽出(サイバー増大ページ論文概要,新しいソフトウェアの実現,サイバー増大号)
- 非ストリクトデータフロープログラム実行におけるスタックフレームの利用
- 細粒度データフロー言語のWS実装時におけるスレッド結合法の評価
- データフローに基づくマルチエージェントによる並行プログラミング
- Hadoopを用いた大容量バケット解析システムの設計と実装(トラヒック,NW評価,性能,リソース管理・制御,トラヒックエンジニアリング,NW信頼性・レジリエンシ,一般)
- 分散メモリシステム上での細粒度non-strictデータフロー構造データの生産者・消費者間パイプライン実行
- EARTHアーキテクチャ上でのデータフロー仮想マシンコードDVMCの実行
- 再帰的非ストリクト構造データ生成の効率化
- 分散メモリ実装におけるデータフロー言語の構造データ管理方式
- 分散メモリ実装におけるデータフロー言語の構造データ管理方式
- 分散メモリ型商用並列計算機上でのデータフロー言語の配列参照の効率化
- Dataolマシンの資源管理方式に関する検討 : プロセス状態検出方法と状態変化制御機構
- マルチメディア情報環境を想定したエージェント指向交換システム
- データフロー概念に基づくマルチエージェント指向交換プログラム構成法
- Hadoopを利用したパケット解析システムにおけるパケット入力方法の改善(一般,モバイル,アドホック,ユビキタス,無線,セキュリティ,マルチアクセス,アクセスネットワーク・UserNetworkInterface,Homeネットワーク,一般)
- 規範的チーム開発プロセスTSPiに基づく産学連携PBLの事例報告-OpenFlowコントローラ開発への形式手法導入-
- 関数型言語Validへのオブジェクト指向的記述形式の導入とその実現方式
- 超並列処理記述言語Vによる画像処理アルゴリズムの記述
- 超並列処理記述言語Vによる画像処理アルゴリズムの記述