単語頻度の再推定による自己組織化単語分割
スポンサーリンク
概要
- 論文の詳細を見る
本稿では, 小さな単語リストと大量のプレーンテキストから日本語の単語分割プログラムを作成する方法を提案する. 本手法は, 単語単位の統計的言語モデル, 初期値推定手続き, 再推定手続きから構成される. まず文字種に関するヒューリスティクスを用いて訓練テキストから抽出した単語候補を単語リストに加え, 単語リスト中の単語と最長一致する訓練テキスト中の文字列の頻度から単語頻度の初期値を推定する. 次に単語頻度に基づく統計的言語モデルを用いて訓練テキストを単語分割し, 単語リストと単語頻度を再推定する. 1719個の単語と390万文字のテキストに対して本手法を用いて単語分割プログラムを訓練したところ, 単語分割精度は再現率86.3%, 適合率82.5%であった.
- 一般社団法人情報処理学会の論文
- 1997-09-11
著者
関連論文
- 音声翻訳実験システム(ASURA)のシステム構成と性能評価
- 発話タイプ付きコーパスを用いた確率的対話モデルの自動生成
- 単語頻度の期待値に基づく未知語の自動収集
- 確率・統計的手法による対話構造のモデル化
- 確率・統計モデルの音声言語処理への応用 ( 「コーパスに基づく音声・自然言語処理」)
- 音声言語の確率モデル ( 「コーパスに基づく音声・自然言語処理」)
- 文字類似度と統計的言語モデルを用いた日本語文字認識誤り訂正法
- 文字類似度と統計的言語モデルを用いた日本語文字認識誤り訂正法
- SLP・NL合同セッション「ここまでできるぞ音声/言語処理技術」 : 言語編 : 4 文字認識用日本語スペルチェッカjspell
- 単語頻度の再推定による自己組織化単語分割
- 確率モデルによる自由発話の形態素解析
- 前向きDP後向きA^*アルゴリズムを用いた確率的日本語形態素解析システム
- 音声言語処理における統計的言語モデルの現状と動向
- キ-ワ-ドの自動抽出と重要度評価
- 重要概念抽出に基づく新聞記事からのキーワード作成
- チャートパーザによる音声認識候補の効率的解析手法