特徴の出現回数に応じた<i>L</i><sub>1</sub>正則化を実現する教師ありオンライン学習手法

概要

論文の詳細を見る
オンライン学習 (逐次学習) とは,訓練データを 1 つ受け取るたびに逐次的に学習を行う手法であり,大規模な訓練集合からの学習が効率化される.L1 正則化とは,学習上不要なパラメータを零化する手法で,学習の高速化やメモリ効率の改善が期待される.2009 年に提案された FOBOS7) は上記の二手法を組み合わせた,教師あり学習のための L1 正則化付きオンライン学習手法である.しかし FOBOS では,特徴の出現回数が不均一な訓練集合では,低頻度の特徴が排除されやすい性質を持つ.FOBOS では各特徴の出現頻度やパラメータの累積更新幅とは無関係に全特徴に共通の零化を施すためである.しかし既存の L1 正則化付きオンライン学習アルゴリズムでは,この性質は分析されてこなかった.本稿では,特徴の出現回数の情報を用いた L1 正則化を導入した教師あり学習のためのオンライン学習手法 (HF-FOBOS) を提案する.さらに,HF-FOBOS は既存手法と同様の計算コスト.収束速度でパラメータの累積更新幅に応じた L1 正則化を実現する学習手法である事を確認する.また,HF-FOBOS と FOBOS に対して実問題に基づく実験を行い,出現頻度を利用した L1 正則化が精度向上へ寄与することを示した.
2011-02-28