無限語彙の仮名漢字変換(単語,文法)
スポンサーリンク
概要
- 論文の詳細を見る
本論文では、確率的言語モデルによる仮名漢字変換において、語彙を事実上無限にする枠組を提案する。この枠組により、未知語であっても、新聞やウェブに表記が現れ、読みが各文字の可能な読みの組合せとなっている限りにおいて変換候補として挙げることが可能になる。さらに、確率的言語モデルにより前後の文脈を考慮して、未知語を含む変換候補に適切な順位を付けることができ、高い変換精度が期待できる。実験では、一般的な分野の確率的言語モデルによる仮名漢字変換システムを別の分野に適応することを行なった。実験の結果、提案手法により、一般分野の精度を損ねることなく適応分野の精度の向上を実現可能であることが示された。特に未知語であっても、正しい変換結果を得ることが可能になったことが提案手法の最大の特徴である。
- 一般社団法人情報処理学会の論文
- 2006-03-27
著者
関連論文
- 形態素係り受けモデルによる構文解析
- 文字クラスモデルに基づく日本語単語分割
- 確率的モデルによる仮名漢字変換
- nグラム統計によるコーパスからの未知語抽出
- 確率的モデルによる仮名漢字変換
- 確率的モデルによる仮名漢字変換
- 予測単位の変更によるn-gramモデルの改善
- 予測単位の変更によるn-gramモデルの改善
- 予測単位の変更によるn-gramモデルの改善
- 日本語の情報量の上限の推定
- 形態素クラスタリングによる形態素解析精度の向上
- タグ付きコーパスからの統語規則の獲得
- nグラム統計によるコーパスからの未知語抽出
- nグラム統計によるコーパスからの未知語抽出
- タグなしコーパスによる形態素解析と仮名漢字変換の精度向上
- タグなしコーパスによる形態素解析と仮名漢字変換の精度向上
- 単語リストと生コーパスによる確率的言語モデルの分野適応(言語の統計モデル)
- 単語リストと生コーパスによる確率的言語モデルの分野適応(言語の統計モデル)
- 確率的単語分割コーパスからの単語N-gram確率の計算(音声言語)
- 生コーパスからの単語N-gram確率の推定(仮名漢字変換・形態素構文解析)
- 大規模日本語テキストのnグラム統計の作り方と語句の自動抽出
- 語彙化マルコフモデルによる英語品詞タグ付け
- 形態素bi-gramと品詞bi-gramの重ね合わせによる形態素解析
- 統計によるタグ付きコーパスからの統語規則の獲得
- クラスに基づく可変長記憶マルコフモデル
- 自然言語処理 : 基礎と応用, (社)電子情報通信学会(編), 田中穂積(監修), "自然言語処理 : 基礎と応用", (社)電子情報通信学会(1999-03), A5判, 定価(本体5,400円+税)
- 単語リストと生コーパスによる確率的言語モデルの分野適応
- 無限語彙の仮名漢字変換(単語,文法)
- 係り受けを用いた確率的言語モデル