統計モデルによる日本語の形態素解析手法
スポンサーリンク
概要
- 論文の詳細を見る
本稿では,拡張CYK法に単語接続に関する統計モデルを利用した日本語の形態素解析手法を提案する.形態素解析の過程はまず,接続情報を検査し接続が可能な形態素解析結果をすべて得たのち,ヒューリスティックスを利用して優先順位を決める.我々は,接続情報表の値を確率として用いることにより接続の強度を表現し,その強度により形態素候補の優先順位を決めた.このとき用いる確率情報は,形態素解析の対象言語に関する確率モデルとして統計情報抽出機構から得られる.このような形態素解析手法を日本語を対象に約24万形態素のコーパスから接続情報を抽出し実験した結果95.2%の解析成功率を得た.本論文では確率接続表を用いた形態素解析能力と,接続の可不のみを表した接続表を用いた形態素解析機構を比較し評価を行う.
- 一般社団法人情報処理学会の論文
- 1995-09-14
著者
関連論文
- 日-韓機械翻訳における連語パターンを用いた変換手法
- 不完全情報を含む日本語解析システムについて
- 構文解析に基づく辞書情報推定に関する研究
- 統計モデルによる日本語の形態素解析手法
- 連語パターンによる日-韓機械翻訳システムの構築とその評価
- 日韓機械翻訳における様相テーブルに基づいた韓国語述部の生成処理