N-gramを用いた日本語テキストの単語単位への分割

概要

論文の詳細を見る
われわれは音声認識の統計的言語モデル構築を目的として、日本語テキストを人が潜在意識的にもつ単語単位で処理するアプローチを試みている。最初の確率推定の学習データは形態素解析した結果を人の単語分割モデルに基づいた乱数により分割・統合して作成した。本研究ではそうして得られたN-gramモデルを用いて、日本語テキストを直接分割する試みを行った。そのさい未知語をN-gramモデルにどう取り込むかという点が問題となる。本研究では既存の辞書から、文字種や出現する位置に基づいた文字クラスを作成し、各表記をその文字が属するクラスに置き換えたパターンによる未知語モデルを提案する。未知語に対する生起確率は、これらのパターンの出現確率および文字クラスから各文字への条件付き確率を用いて計算される。新聞やパソコン通信の電子会議室中の文章を用いた実験によれば、人が分割した結果と92%が一致し、未知語抽出部分については再現率40-50%、適合率80-85%が得られた。
一般社団法人情報処理学会の論文
1997-11-20