OCRによる文字認識誤りを考慮した重み付きトピックモデルに関する検討

概要

論文の詳細を見る
近年,スキャナの普及により,紙媒体の文書の電子化が急速に進んでいる.それらの電子化文書は一般的に,タグ付けやフォルダ分けによって管理されている.しかし,大量の文書に対して個々にタグ付けやフォルダ分けを行うことは,時間や労力の面から困難である.したがって,スキャナにより自動で取り込まれた電子化文書に対し,OCR(光学文字認識)から得られるテキスト情報を用いて,自動で文書の特徴を抽出し,分類・検索を行うシステムが有用であると考えられる.代表的なトピックモデルの1つであるLDA(潜在的ディリクレ配分法)は,各文書の特徴や文書間の関係を高性能に抽出する手法として知られている.LDAを用いて情報検索を行う研究は数多く報告されているものの,それらの多くは正しいテキスト情報を持つ文書を想定しており,OCRの認識率が低い場合にはその性能が低下することが報告されている.また,日本語のOCR文書に対してトピックモデルを適用した研究は,これまでに見当たらない.本論文では,日本語のOCR文書に対してLDAを適用する際に,トピックの推定性能を向上させる方法について検討を行う.本論文では,N-gramを用いて単語の認識に対する信頼度を定義し,その信頼度に基づいてLDAにおける各単語の重み付けを行う手法を提案する.提案手法において定義した信頼度が,適切に誤認識単語を検出できることを予備実験において確認したのち,実際のOCR文書分類の実験を行い,提案手法により文書分類性能が向上することを示す.
2013-12-27

OCRによる文字認識誤りを考慮した重み付きトピックモデルに関する検討

スポンサーリンク

概要

著者

関連論文

スポンサーリンク