接続確率最小法による教師なし単語分割

スポンサーリンク

概要

論文の詳細を見る
日本語の処理において、単語への分割は解析処理の最初の課題である。近年はタグ付コーパスの利用により、精度の高い単語分割が実現可能となっている。しかし様々な文書分野へシステムを適用することを考えると、必ずしも常に適したタグ付きコーパスが得られるとは限らない。本論文ではまず、文字間の接続確率を用いることでタグ無しコーパスからの学習により文章を単語へ分割する手法を提案し、その効果を実験により検証する。さらにこれを応用して、複合語分解のための接続確率最小法を提案し有効であることを示す。
一般社団法人情報処理学会の論文
2000-09-21

著者

関連論文

スポンサーリンク