カテゴリ型レコードデータからの属性値間の相関性を利用した外れ値検出手法
スポンサーリンク
概要
- 論文の詳細を見る
巨大なデータから珍しいイベントや逸脱したオブジェクト,例外等を発見する技術である外れ値検出は,幅広い応用範囲を持つことから,近年ますます注目されている.しかし,既存の外れ値検出手法は連続値を属性値に持つ数値型レコードデータを対象とするものが多い.このような既存外れ値検出手法を用いてカテゴリ型の値を属性値に持つカテゴリ型レコードデータから外れ値を検出することは困難である.そこで,本稿ではこのようなカテゴリ型レコードデータから外れ値となるレコードを検出するためのフレームワークを提案する.我々は,あるレコード内に存在する属性値の集合と本来ならば共起するはずの属性値が,そのレコード内で数多く観測されない場合に,そのレコードを外れ値と見なすこととしている.本稿ではまず,属性間の相関性を表すものとして相関ルールを利用し,外れ値度の式を導入する.また,より高速に外れ値レコードを検出するための効率的アルゴリズムを提示する.実データを用いた実験では,提案手法が関連手法と比較して十分な検出精度を得られること,ナイーブアルゴリズムに比べて提案アルゴリズムの処理速度が数十倍向上することを示す.さらに,提案手法が外れ値として価値のあるレコードを本当に検出できるかどうかを確認するため,実データから外れ値検出を行い,外れ値として得られたレコードの希少性を検証する.
- 一般社団法人情報処理学会の論文
- 2008-09-30
著者
関連論文
- 分散ストリーム処理システムにおける高信頼化方式の提案(ストリーム処理,情報爆発論文)
- センシングデータ処理基盤技術--ストリームデータ処理 (特集 センシングネットワーク)
- 確率推論ストリーム処理エンジンのカメラセンサネットワークへの応用(ユビキタス・センサネットワークの要素技術,コンテクストの抽出,スマートスペース,ユビキタス生活支援,一般)
- 第13回 The 15th International Conference on Database Systems for Advanced Applications(DASFAA2010)("I"見聞録)
- マルコフ連鎖モデルに基づく移動ヒストグラムの動的構築法(空間データベース,データ工学論文)
- 2 センシングデータ処理基盤技術 : ストリームデータ処理(センシングネットワーク)
- Webとファイル空間を対象とした情報空間ガバナンス技術(ウェブ情報とデータベースに関して(ポスター講演))
- Webコンテンツ一貫性管理のための制約発見支援(セッション5a:Webマイニング)
- 3ZK-8 Webコンテンツ一貫性管理支援ツールの開発(情報爆発時代におけるWeb技術およびWeb情報抽出,学生セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 非定型Webコンテンツ管理のための軽量ラッピング言語(夏のデータベースワークショップ2007(データ工学,一般))
- 非定型Webコンテンツ管理のための軽量ラッピング言語(データ管理,夏のデータベースワークショップ2007(データ工学,一般))
- Webページ移動先発見のための効率的なクローリング手法
- Webページ移動先発見のためのクローリング手法の提案(データ応用,夏のデータベースワークショップDBWS 2006)
- Webページ移動先発見のためのクローリング手法の提案(データ応用)
- Webリンク切れ自動修正のための公開実験システムの開発(Webシステム, 夏のデータベースワークショップDBWS2005)
- 例示データに基づく選択的ウェブクローリング手法について(対話型検索, 夏のデータベースワークショップDBWS2005)
- 例示データに基づく選択的ウェブクローリング手法について(対話型検索, 夏のデータベースワークショップ2005)
- 6S-7 ソーシャルブックマークを利用したユーザ嗜好に基づくページの抽出(ユーザ指向・推薦,学生セッション,データベースとメディア)
- 分散ストリーム処理システムにおける高信頼化方式の提案
- Webリンク切れ自動修正のための公開実験システムの開発(Webシステム, 夏のデータベースワークショップ2005)
- WWWにおける信頼度の高いリンクの発見(Webリンク)(夏のデータベースワークショップDBWS2004)
- WWWにおける信頼度の高いリンクの発見(セッション6A : Webリンク)(夏のデータベースワークショップ : DBWS2004)
- 映像処理に向けたストリーム処理エンジンEagleEyeの構築(ストリームデータ処理,センサデータ処理,ストリームデータベース,及び一般)
- ビットシグネチャを用いたWebページの包含従属性発見の効率化
- 異種XMLデータに対するファセット検索手法の提案
- ユーザから指定された時刻に焦点を当てる文書クラスタリング法(夏のデータベースワークショップ2007(データ工学,一般))
- ユーザから指定された時刻に焦点を当てる文書クラスタリング法(クラスタリング・カテゴライズ,夏のデータベースワークショップ2007(データ工学,一般))
- 実データの分析に基づくクラスタリングパラメータの設定法に関する検討(マイニング)
- 新規性を考慮したインクリメンタルクラスタリング手法の実験評価(クラスタリング, 夏のデータベースワークショップDBWS2005)
- 新規性を考慮したインクリメンタルクラスタリング手法の実験評価(クラスタリング, 夏のデータベースワークショップ2005)
- 4Q-1 StreamSpinnerのEC2における評価(ストリーム・空間検索,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 2S-1 FUSEを利用した異種気象データの統合的利用(科学データベースとメディア,学生セッション,データベースとメディア)
- ユビキタス・センサネットワークを支えるデータストリーム処理(ユビキタス・センサネットワークの要素技術,コンテクストの抽出,スマートスペース,ユビキタス生活支援,一般)
- 確率推論を有する関係データストリーム処理エンジンの設計(ユビキタス・センサネットワークの要素技術,コンテクストの抽出,スマートスペース,ユビキタス生活支援,一般)
- データストリーム処理の適応的最適化(ユビキタス・センサネットワークの要素技術,コンテクストの抽出,スマートスペース,ユビキタス生活支援,一般)
- 対象情報源を動的に選択可能なストリーム処理の実装と評価
- 協調能動型データベースシステム技術の研究に向けて (メディア統合および環境統合のための高機能データベースシステム、および一般)
- 1S-8 グラフ構造に基づくソーシャルブックマークにおけるスパマー検出(ソーシャルWeb,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 2Q-8 アソシエーション抽出を用いたWeb情報の統合方式(可視化・Web情報統合,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 1S-6 マイクロブログにおけるコミュニティの抽出と分析(ソーシャルWeb,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 3ZP-8 ベイズネットを用いた時系列イベントに対する確率推論処理(情報爆発時代におけるデータマイニング・アルゴリズム,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 3ZP-1 ヒューリスティクスを用いたWebコンテンツの包含従属性発見の効率化(情報爆発時代におけるデータマイニング・アルゴリズム,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 6S-3 注釈によるトレーサビリティ機能を持つXQuery処理系の実装(XML・グラフデータベース,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 6R-7 Efficient Privacy Preserving Query Processing using GPGPU
- データストリーム管理システムHarmonicaの設計と実装
- 2Q-3 動画コンテンツ共有サイトの可視化手法の研究(可視化・Web情報統合,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 4ZA-7 幼稚園向けバスロケーションシステムの開発(交通管理,学生セッション,ネットワーク,情報処理学会創立50周年記念)
- ASTER衛星画像とWebコンテンツを用いた新築建造物の検出(画像/三次元データ,e-Science及びData Intensive Science)
- 1S-8 構造型P2Pネットワークにおけるキーワードを用いたXML文書検索(P2Pデータ処理,学生セッション,データベースとメディア)
- 6ZN-6 映像ストリームとタプルストリームの統合利用のためのモデルの提案(情報爆発時代におけるマルチメディア処理,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 3R-3 リンク構造解析によるTwitterユーザのランキング手法(Web応用,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 異種データストリーム統合基盤 : Stream Spinner(ウェブ情報とデータベースに関して(ポスター講演))
- 2S-2 不確定性を有するデータ集合に対する外れ値検出(マイニング・地理情報,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 5C-5 データストリーム処理におけるコスト推定に基づく動的な来歴保存方式(データベース技術一般,一般セッション,データベースとメディア,情報処理学会創立50周年記念)
- カテゴリ型レコードデータからの属性値間の相関性を利用した外れ値検出手法
- トランザクションデータに対するより汎用的な外れ値検出の実現に向けて(jDBワークショップ)
- トランザクションデータに対するより汎用的な外れ値検出の実現に向けて(jDBワークショップ)
- 4J-2 アイテム間の相関性を利用したトランザクションデータに対する外れ値検出手法(情報爆発時代におけるデータマイニング,一般セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- トランザクションデータベースに対する高確信度の相関ルールを用いた外れ値検出手法(夏のデータベースワークショップ2007(データ工学,一般))
- トランザクションデータベースに対する高確信度の相関ルールを用いた外れ値検出手法(クラスタリング・カテゴライズ,夏のデータベースワークショップ2007(データ工学,一般))
- 一般化されたノイズ入りデータに対する相関ルールマイニング(マイニング,夏のデータベースワークショップDBWS 2006)
- 一般化されたノイズ入りデータに対する相関ルールマイニング(マイニング)
- RDB分散問合せ処理へのサイト間アクセス制御の導入(分散問い合わせ処理, 夏のデータベースワークショップDBWS2005)
- RDB分散問合せ処理へのサイト間アクセス制御の導入(分散問い合わせ学習, 夏のデータベースワークショップ2005)
- フィードバックを利用した文書の選択に基づくレコード抽出手法(情報抽出,夏のデータベースワークショップDBWS 2006)
- データクリーニングを統合した情報抽出システムの提案(情報抽出)
- データクリーニングを統合した情報抽出システムの提案
- フィードバックを利用した文書の選択に基づくレコード抽出手法(情報抽出)
- P2Pデータ流通における注釈を用いたトレーサビリティの実現手法の検討(セッション4: Webシステム・P2Pシステム)
- P2Pデータ流通における注釈を用いたトレーサビリティの実現手法の検討(セッション4: Webシステム・P2Pシステム)
- 空間情報ハブ抽出のためのウェブリンク解析手法の開発(Webリンク)(夏のデータベースワークショップDBWS2004)
- 空間情報ハブ抽出のためのウェブリンク解析手法の開発(セッション6A : Webリンク)(夏のデータベースワークショップ : DBWS2004)
- 3J-1 流域水循環シミュレーションシステムと河川・流域データベースの連携(社会への応用,一般セッション,コンピュータと人間社会,情報処理学会創立50周年記念)
- 4Q-4 ストリーム処理エンジンにおける複数書き込み最適化の提案(ストリーム・空間検索,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- 4Q-2 分散ストリーム処理システムにおける効率的なデータ配信基盤に関する研究(ストリーム・空間検索,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- データストリーム処理における適応的な来歴保存方式(テーマセッション,「ユビキタス,センサ環境におけるデータベース」,及び一般)
- パタンウィンドウに基づくシーケンスデータ処理と関係データ処理の統合
- ストリーム処理における来歴データ永続化の投機的実行方式
- データストリーム処理へのベイジアンネットワークの導入
- ストリーム処理エンジンにおける効率的な来歴管理
- 3ZM-4 学生による研究室配属業務支援システム開発の取り組みについて(大学・芸術,学生セッション,コンピュータと人間社会,情報処理学会創立50周年記念)
- 6ZC-6 属性の共起関係に着目したWWWからの効率的なXMLデータ抽出(情報爆発時代におけるWebパーティカル検索,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 6ZC-5 異種XMLデータに対するファセット検索システムの性能評価(情報爆発時代におけるWebパーティカル検索,学生セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 6S-1 On Finding Functional Dependencies in XML Data
- 4Q-6 センサネットに対するXMLビューの提案(ストリーム・空間検索,学生セッション,データベースとメディア,情報処理学会創立50周年記念)
- Webページを対象としたXMLデータ抽出手法の検討
- 木直列化に基づくXMLデータの類似結合における木構造の統合
- 多重比率規則抽出のためのデータ分析手法(データマイニング, 夏のデータベースワークショップ2005)
- サポートと確信度をもとにした比率規則による線形関係抽出
- 局所性を考慮した比率規則マイニング(マイニング)
- P2P環境における構造概要を利用したXMLデータの検索手法の実装について(オーバーレイネットワーク,夏のデータベースワークショップDBWS 2006)
- P2P環境における構造概要を利用したXMLデータの検索手法の実装について(オーバレイネットワーク)
- Pattern window based integration of sequence data processing and relational data processing (ユビキタス・センサネットワーク)
- ラッピング言語を用いたWebサイトの再構築手法の提案
- 移動軌跡ストリームデータのためのインクリメンタルなヒストグラムの管理手法(ストリームデータ1, 夏のデータベースワークショップDBWS2005)
- 移動軌跡ストリームデータのためのインクリメンタルなヒストグラムの管理手法(ストリームデータ1, 夏のデータベースワークショップ2005)
- 3J-1 An Algorithm for XML Cube Computation in XML-OLAP
- XML-OLAPにおける効率的な構造ベースの集約計算を行うアルゴリズム(jDBワークショップ)
- XML-OLAPにおける効率的な構造ベースの集約計算を行うアルゴリズム(jDBワークショップ)
- XMLデータの分析処理に向けて(XML,夏のデータベースワークショップDBWS 2006)