コスト最小法を用いた形態素解析におけるコスト設定の一方法
スポンサーリンク
概要
- 論文の詳細を見る
コスト最小法を用いた形態素解析において、コストは候補の絞り込みに大きく影響する。コスト設定の主な手法としては、単語あるいは単語間の接続関係を分類し、それに対してトップダウンに初期値を与えて修正を繰り返す方法と、確率モデルに基づく方法が提案されている。前者は、必要に応じて意図的にコスト値の操作ができ、メインテナンスしやすいという利点があるが、単語の分類が大まかで、単語固有の尤もらしさが反映されにくいという問題点がある。後者は、値が実際的ではあるが、厳密な生起確率を求めることが困難なため近似的であり、統計をとるサンプル文の量や質に影響されやすい。更に、部分的な値の操作がしにくいというメインテナンス上の問題もある。そこで、本方法では単語列のコストを、構成単語のコストと隣接する単語間の接続のコストの総和で表す。単語コストは個々の単語の出現頻度を基に統計的に求め、接続コストは接続のパタンそれぞれにトップグウンに経験値を与えた。
- 一般社団法人情報処理学会の論文
- 1993-09-27
著者
関連論文
- プロセス指向対話システムの提案
- 調理行動に伴う対機械対話の発話現象
- 調理行動に伴う対機械対話収録実験
- ナビゲーション対話における省略文の分析
- テキスト音声合成における係り受け解析結果を用いたポーズ挿入処理
- 簡易日本語解析系QJPを用いたポーズ位置設定
- 辞結合におけるアクセント自動生成規則
- コスト最小法を用いた形態素解析におけるコスト設定の一方法
- 日本語解析用クラスライブラリ「Jpnクラスライブラリ」の開発
- コスト最小法に基づく逐次確定型・形態素解析