多数の動画像を対象とするリアルタイム異常値検出の検討
スポンサーリンク
概要
- 論文の詳細を見る
我々は,オンライン機械学習向け分散処理フレームワーク Jubatus を基盤として用いた,大量センサデータに対するリアルタイムかつ複雑な解析を実現する処理エンジンの構築を目指している.特にさまざまな応用分野へのシステムの適用を想定した場合,多種多様なリアルタイムデータを処理対象として取り扱えることが重要である.そのなかでも映像や音声に代表されるメディアデータは,汎用性が高く,実世界へのセンサー装置の浸透が顕著に進んでおり,内包している情報量の多さから高い利用価値が期待される.本稿では,Jubatus を基盤として実際に多数の動画像を対象としたリアルタイム異常値検出を行うシステムを構築し,その構成概要を示した.また,性能特性の調査を行い,その結果を示した.その結果,学習データに基づいた異常値検知はリアルタイムに実現できたが,学習フェーズは学習データの増加とともにリアルタイムに処理することが困難になった.レスポンス時間についてより詳細な調査を行い,LSH から取得した擬似近傍点の個数が多い場合に著しい性能劣化が見られることが判明した.
- 2013-05-22
著者
関連論文
- 5.データセンター及びクラウドと光ネットワーク技術(グリーンICTに向けた光ネットワーク技術)
- ネットワークテストベッドGtrcNET-10p3におけるパケットキャプチャおよびルータ機能の実装(応用2)
- 異機種大規模クラスタ対応型ホンダグリッドシステム
- IPフロー単位のトラフィック制御設定の自動化機構(次世代・新世代ネットワークアーキテクチャ,トラヒック計測・制御,サービス品質,ネットワーク管理,一般)
- 10ギガビットイーサネットを用いた精密なパケットスケジューリング機構の開発(ポストIPネットワーキング,ネットワークモデル,インターネットトラヒック,TCP/IP,マルチメディア通信,ネットワーク管理,リソース管理,プライベートネットワーク,NW安全性及び一般)
- 高品質分散実行環境のための計算・ネットワーク資源のグローバルスケジューリング手法(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- ネットワーク帯域予約とOS仮想化機構を用いた分散アプリケーション実行環境に向けて(ネットワーク,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 仮想計算機遠隔マイグレーションに対応するストレージ提供手法の比較検討(ストレージシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 多様な資源を事前予約で同時確保するためのグリッドコアロケーションシステムフレームワークGridARS(グリッド)
- 複数拠点にまたがるe-Scienceアプリケーション環境構築を目的としたソフトウェア導入・管理機構(並列・分散システム,システム開発論文)
- 複数拠点にまたがるe-Scienceアプリケーション環境構築を目的としたソフトウェア導入・管理機構 (システム開発論文特集)
- ステートレス仮想クラスタの構想(クラスタと省電力技術)
- 仮想クラスタ管理システムの設計と実装(仮想化)
- 仮想クラスタ遠隔ライブマイグレーションにおけるストレージアクセス最適化機構(HPC-2:仮想クラスタ,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- グリッドアプリケーションのためのGMPLSネットワーク資源の管理制御(MPλ(Lambda)S,フォトニックネットワーク/制御,光波長変換,スイッチング,PON,一般)
- レイヤの異なる複数ドメインを跨いだ動的ネットワークパス構築技術の実証実験(ネットワーク管理/制御/設計)
- 動的ネットワークパスプロビジョニングの相互運用技術 : G-lambdaシステムとGLIF Feniusの連携(ネットワーク管理/制御/設計)
- 複数ドメイン環境でQoSを保証するクラウドのための資源管理フレームワーク(クラウド、グリッド・P2P)
- ネットワーク帯域予約を用いた分散アプリケーション実行環境の構築(クラウド、グリッド・P2P)
- グリッドコンピューティングにおけるモニタリングシステムの自律的構成(HPC-6 : ジョブスケジューリング)(2003年並列/分散/協調処理に関する『松江』サマー・ワークショップ(SWoPP松江2003))
- Javaによるソフトウェア分散共有メモリシステムの構築
- Java向けソフトウェア分散共有メモリの実現
- 2000-HPC-82-24 MPC++Multi-Thread Template Libraryの様々な通信レイヤ上での実装と性能評価
- 2000-HPC-82-23 PCクラスタにおけるEthernetによる高速ユーザレベルバリアの性能評価
- OpenJITフロントエンドシステムの設計
- Javaバイトコードをデコンパイルするための効果的なアルゴリズム
- MPC++ Multi-Thread Template LibraryのMPIによる実装と性能評価
- グローバルコンピューティングシステムのシミュレーションによる評価 (並列処理)
- 高可搬な自己反映計算によるソフトウエア分散共有メモリの性能評価
- OpenC++のリフレクション機能を用いた分散共有メモリの実現
- Ninfシステムにおけるジョブスケジューラの実装と予備的評価
- Javaを用いた広域並列計算システムNinflet上の通信クラスライブラリの実現
- OpenJIT : 自己反映的なJava JITコンパイラ
- 複数クライアントによるLAN/WANでのNinfの性能(並列処理)
- 部分計算を用いたMPIプログラム最適化システムOMPI(並列処理)
- 超広域分散数値情報データベースNinfDBの構築について
- 高性能広域計算システムNinfのスケジューリングに関する予備的考察
- ネットワーク数値情報システムNinf : マルチクライアント環境での性能
- 分散メモリ計算機用Ninf APIの実現に向けて
- MPIのソフトウェアオーバーヘッド除去による最適化手法の評価
- 2.Googleのクラウド技術(クラウドの事例紹介,クラウドコンピューティング)
- 既存VMMへの適用が容易でゲスト透過なポストコピー型仮想マシン再配置機構
- 高速マイグレーションを利用した仮想マシン配置最適化システムの検討
- 高速フラッシュメモリに適したキーバリューストアの予備的評価
- 性能を保証する分散実行環境のためのオンラインコアロケーション手法
- クラウドコンピューティングの性能評価
- クラウドコンピューティングの性能評価
- 高速フラッシュメモリ向けMapReduceフレームワークの実現に向けて
- ネットワーク転送時におけるノード消費電力削減
- ネットワーク転送時におけるノード消費電力削減
- プライベートアドレスを有するクラスタ群のための高性能MPI通信リレー機構
- 仮想計算機パッキングへの最適化手法の適用(2010年並列/分散/協調処理に関する『金沢』サマー・ワークショップSWoPP2010)
- 仮想計算機メモリの遅延再配置による高速ライブマイグレーション
- 仮想計算機遠隔ライブマイグレーションのための透過的なストレージ再配置機構
- 仮想計算機遠隔マイグレーションに対応するストレージ提供手法の比較検討(ストレージシステム,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- 仮想クラスタ遠隔ライブマイグレーションにむけた仮想計算機ストレージの透過的再配置機構の評価(クラスタとグリッド技術)
- 仮想クラスタのステートレス化のためのRocks5ディスクレス化機構(HPC-2:仮想クラスタ,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- グリッドコンピューティングと製造業における活用事例
- グリッドRPCシステムのクラウド環境への適用
- WSRFに基づく情報サービスのXACMLによるアクセス制御
- 仮想計算機遠隔マイグレーションに対応するストレージ提供手法の比較検討 (計算機アーキテクチャ・ハイパフォーマンスコンピューティング・「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2009))
- アクセス性能を保証する並列ファイルシステムの提案とストレージサーバの設計
- トラフィックの性質情報に基づいた動的ネットワーク選択手法(ポストIPネットワーキング,ネットワークモデル,インターネットトラヒック,TCP/IP,マルチメディア通信,ネットワーク管理,リソース管理,プライベートネットワーク, NW安全性,及び一般)
- 大規模資源の管理・制御に関する技術の実証実験 : 新世代ネットワークプラットフォームの実現に向けて(ネットワーク品質,トラヒック計測,サービス品質,一般)
- 超高精細映像配信サービスのためのストレージ・ネットワーク統合資源管理方式の提案(ブロードバンドアクセス,ホームネットワーク,ネットワークサービス,通信利用アプリケーション,一般)
- 仮想クラスタに対するIPストレージの提供方法の比較(仮想クラスタ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- 仮想クラスタに対するIPストレージの提供方法の比較(仮想クラスタ,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2007))
- グリッドデータファームとGNET-1による日米間高速ファイル複製(グリッド基盤システム)
- 性能を保証する計算・ネットワーク資源のコアロケーション手法の評価
- 異機種大規模クラスタ対応型ホンダグリッドシステム
- ファンの振動が計算機内のハードディスクに与える影響について(アーキテクチャ)
- 高可搬な自己反映計算によるソフトウエア分散共有メモリの性能評価
- 高可搬な自己反映計算によるソフトウエア分散共有メモリの性能評価
- マルチドメインクラウド資源管理フレームワークの実証実験 (ネットワークシステム)
- 動的ネットワークパスプロビジョニングの相互運用技術 : G-lambdaシステムとGLIF Feniusの連携(ネットワーク管理/制御/設計)
- 合成ベンチマークによるMapReduce処理系SSSの性能評価
- 仮想計算機モニタ・バイパス型ネットワークに対する通信制御方式
- 仮想計算機モニタ・バイパス型ネットワークに対する通信制御方式
- 合成ベンチマークによるMapReduceのI/O性能評価手法
- 多種資源を対象とするオンラインコアロケーション手法の提案
- MapReduce処理系SSS上のSawzall処理系の実装 (コンピュータシステム)
- 「情報処理学会論文誌 : プログラミング」の編集について
- Hadoop上で動作するSawzallサブセットの実装
- グローバルコンピューティング(5)グローバルコンピューティングにおけるセキュリティ
- MapReduce処理系SSS上のSawzall処理系の実装(システムパフォーマンス,2011年並列/分散/協調処理に関する『鹿児島』サマー・ワークショップ(SWoPP鹿児島2011))
- 省電力化にむけた仮想計算機パッキングアルゴリズムの提案(仮想マシン,2011年並列/分散/協調処理に関する『鹿児島』サマー・ワークショップ(SWoPP鹿児島2011))
- MapReduce処理系SSSのPrefixSpan法による評価
- MapReduce処理系SSSの実アプリケーションによる評価(数値解析,ネットワーク,クラウド及び一般)
- MapReduce処理系SSSに向けたKVSの改良 (ディペンダブルコンピューティング)
- MapReduce処理系SSSに向けたKVSの改良 (コンピュータシステム)
- MapReduce処理系SSSにおけるContinuous MapReduceの実装
- MapReduce処理系SSSにおけるKey Value Storeアクセス手法の改良 (コンピュータシステム・2012年並列/分散/協調処理に関する『鳥取』サマー・ワークショップ(SWoPP鳥取2012))
- PrefixSpan法のMapReduce実装の改良 (コンピュータシステム)
- 仮想マシンに対して透過的なClient Mobile IPv6トンネリング機構(多様な社会要請に適応可能なインターネットアーキテクチャ論文)
- MapReduce処理系SSSに向けたKVSの改良(ディペンダブルコンピューティングシステム及び一般)
- MapReduce処理系SSSに向けたKVSの改良(ディペンダブルコンピューティングシステム及び一般)
- 多数の動画像を対象とするリアルタイム異常値検出の検討
- MapReduce処理系SSSにおけるKey Value Storeアクセス手法の改良(クラウド,2012年並列/分散/協調処理に関する『鳥取』サマー・ワークショップ(SWoPP鳥取2012))
- PrefixSpan法のMapReduce実装の改良(ソフトウェア最適化,クラウド、ネットワーク及び一般)
- MapReduce 処理系SSSに向けたKVSの改良