形態素解析結果の誤りを発見する統計的尺度
スポンサーリンク
概要
- 論文の詳細を見る
本稿では, 形態素解析結果から誤り, 特に過分割(正解が分割していないところを形態素解析シ不テムが分割している個所)を検出するための統計的尺度を提案する. 本稿で提案する尺度は文字列に関する尺度であり, 文字列が分割される確率と分割されない確率との比に基づいていて, 分割されにくい文字列ほど大きな値となる. したがって, この値が大きい文字列は過分割されている可能性が高い. 本稿の実験では, この尺度を使うことにより, 規則に基づく形態素解析システムの解析結果から, 高精度で過分割を検出できた. また, 人手で修正されたコーパスに残る過分割も検出できた.
- 一般社団法人情報処理学会の論文
- 1999-01-20
著者
関連論文
- 仮名文字と連語登録を併用した統計的言語モデル
- 形態素解析結果の誤りを発見する統計的尺度
- 大規模コーパスにおける連語登録法
- n項組のクラスタリング -単語クラスタリングの一つの拡張として-
- 形態素解析結果から過分割を検出する統計的尺度