タグなしコーパスによる形態素解析と仮名漢字変換の精度向上
スポンサーリンク
概要
- 論文の詳細を見る
確率的言語モデルを基礎とする自然言語処理において、タグが付与された学習コーパスは重要であり、これを増量することが精度向上につながることがわかっている。しかしながら有意な精度向上のためには、学習コーパスを指数関数的以上に増加させる必要があり、このために必要なコーパスにタグを付与するコストは無視できない程度になっている。このような背景のもと、本論文ではタグなしコーパスの利用による形態素解析と仮名漢字変換の精度向上について述べる。実験では、タグなしコーパスの利用により、確率的言語モデルの予測力やそれに基づく仮名漢字変換の精度は有意に向上し、タグなしコーパスは0.87倍の量のタグつきコーパスに匹敵したが、形態素解析の精度向上は微小であった。
- 社団法人電子情報通信学会の論文
- 2001-07-09
著者
関連論文
- 電話音声による列車時刻問合せシステムの評価
- LSAにもとづく電話音声情報検索システム
- 子供音声データベース
- 形態素係り受けモデルによる構文解析
- 文字クラスモデルに基づく日本語単語分割
- 確率的モデルによる仮名漢字変換
- 電話音声による列車時刻問合せシステムの評価
- 確率的モデルによる仮名漢字変換
- 確率的モデルによる仮名漢字変換
- タグなしコーパスによる形態素解析と仮名漢字変換の精度向上
- タグなしコーパスによる形態素解析と仮名漢字変換の精度向上
- 単語リストと生コーパスによる確率的言語モデルの分野適応(言語の統計モデル)
- 単語リストと生コーパスによる確率的言語モデルの分野適応(言語の統計モデル)
- オンライン文字認識における後処理 : 住所・姓名の文字補完機能
- 確率的単語分割コーパスからの単語N-gram確率の計算(音声言語)
- 生コーパスからの単語N-gram確率の推定(仮名漢字変換・形態素構文解析)
- クラスに基づく可変長記憶マルコフモデル
- 自然言語処理 : 基礎と応用, (社)電子情報通信学会(編), 田中穂積(監修), "自然言語処理 : 基礎と応用", (社)電子情報通信学会(1999-03), A5判, 定価(本体5,400円+税)
- 単語リストと生コーパスによる確率的言語モデルの分野適応
- 無限語彙の仮名漢字変換(単語,文法)