生コーパスからの単語N-gram確率の推定(仮名漢字変換・形態素構文解析)
スポンサーリンク
概要
- 論文の詳細を見る
確率的言語モデルは、音声認識やスペルチェッカーなどの言語処理において重要な役割を担っている。最も一般的な確率的言語モデルは単語n-gramモデルであるが、実用的な予測力を実現するには、正しく単語に分割された対象分野のコーパスが必要である。日本語では単語を明示しないので、自動単語分割の結果を人手で修正する。これには、対象分野の語彙の知識がある作業者があたる必要があり、多大な時間とコストがかかる。この問題を解決するために、本論文では生コーパスから単語n-gram確率を推定する方法を提案する。この方法を用いれば、対象分野の例文を収集するだけで確率的言語モデルの能力が向上する.実験では、確率的言語モデルの応用の一つとしての仮名漢字変換器の精度が、生コーパスを利用することにより向上することを示す。
- 一般社団法人情報処理学会の論文
- 2004-07-15
著者
関連論文
- 形態素係り受けモデルによる構文解析
- 文字クラスモデルに基づく日本語単語分割
- 確率的モデルによる仮名漢字変換
- nグラム統計によるコーパスからの未知語抽出
- 確率的モデルによる仮名漢字変換
- 確率的モデルによる仮名漢字変換
- 予測単位の変更によるn-gramモデルの改善
- 予測単位の変更によるn-gramモデルの改善
- 予測単位の変更によるn-gramモデルの改善
- 日本語の情報量の上限の推定
- 形態素クラスタリングによる形態素解析精度の向上
- タグ付きコーパスからの統語規則の獲得
- nグラム統計によるコーパスからの未知語抽出
- nグラム統計によるコーパスからの未知語抽出
- タグなしコーパスによる形態素解析と仮名漢字変換の精度向上
- タグなしコーパスによる形態素解析と仮名漢字変換の精度向上
- 単語リストと生コーパスによる確率的言語モデルの分野適応(言語の統計モデル)
- 単語リストと生コーパスによる確率的言語モデルの分野適応(言語の統計モデル)
- 確率的単語分割コーパスからの単語N-gram確率の計算(音声言語)
- 生コーパスからの単語N-gram確率の推定(仮名漢字変換・形態素構文解析)
- 安全語のアンマスキングによる機密情報マスキングシステム(情報抽出2,夏のデータベースワークショップDBWS 2006)
- 安全語のアンマスキングによる機密情報マスキングシステム(情報抽出)
- 大規模日本語テキストのnグラム統計の作り方と語句の自動抽出
- 語彙化マルコフモデルによる英語品詞タグ付け
- 形態素bi-gramと品詞bi-gramの重ね合わせによる形態素解析
- 統計によるタグ付きコーパスからの統語規則の獲得
- クラスに基づく可変長記憶マルコフモデル
- 自然言語処理 : 基礎と応用, (社)電子情報通信学会(編), 田中穂積(監修), "自然言語処理 : 基礎と応用", (社)電子情報通信学会(1999-03), A5判, 定価(本体5,400円+税)
- IBMプロフェッショナル論文 対話的テキストマイニングのためのソフトウェアアーキテクチャー
- テキストデータを用いた問題の早期発見手法(意味表現・データマイニング)
- 単語リストと生コーパスによる確率的言語モデルの分野適応
- 無限語彙の仮名漢字変換(単語,文法)
- IBMプロフェッショナル論文 コールセンターのログデータを用いた製品等の不具合の早期発見
- 係り受けを用いた確率的言語モデル