文字クラスモデルに基づく日本語単語分割
スポンサーリンク
概要
- 論文の詳細を見る
日本語処理において, 単語の同定, すなわち文の単語分割は, 最も基本的かつ重要な処理である。本稿では, 文字クラスモデルを言語モデルとして用いる新しい単語分割手法を提案する。まず, 本研究の基本である文字モデルに基づく単語分割法を示す。その上で, 文字モデルに代わり, 日本語文字のクラス分類により得られた文字クラスモデルに基づく単語分割モデルを提案する。文字クラスモデルでは, 推定すべきパラメータ数が文字モデルより少ないという大きな利点があり, 文字モデルより頑健な推定を可能とする。ATR対話データベースを用いた評価実験において, 文字モデルを用いた場合と文字クラスモデルを用いた場合の単語分割精度の比較を行い, 文字クラスモデルに基づく本手法の有効性を示す。
- 社団法人情報処理学会の論文
- 1999-03-04
著者
関連論文
- 現場発想による自然言語処理ブレークスルーの探求(平成21年度論文賞の受賞論文紹介)
- 擬似確率的単語分割コーパスによる言語モデルの改良
- 形態素係り受けモデルによる構文解析
- PPM^*言語モデルを用いた日本語単語分割
- PPM^*モデルによる日本語単語分割
- 単語の位置情報に基づくコーパスからのコロケーションの自動抽出
- 単語の出現位置情報を用いたコーパスからのコロケーションの自動抽出
- 部分的かつ曖昧なラベル付き構造データからのマルコフ条件付確率場の学習(情報抽出・ラベル付与)
- 最大エントロピー法による単語境界確率の推定
- 文字クラスモデルによる日本語単語分割
- 文字クラスモデルに基づく日本語単語分割
- 確率的モデルによる仮名漢字変換
- 講義映像配信システムにおける講義映像と資料の対応
- フィルタバンク特徴量とEarth Mover's Distanceを用いた音楽検索
- 教師あり学習によるベクトル空間情報検索モデルの精度改善
- 音声認識のための言語処理 : 何が足りないか?(言語モデル)
- 現場発想による自然言語処理ブレークスルーの探求
- 日本語単語分割の分野適応のための部分的アノテーションを用いた条件付き確率場の学習
- 確率的モデルによる仮名漢字変換
- 確率的モデルによる仮名漢字変換
- 3種類の辞書による自動単語分割の精度向上
- 仕事量基準を用いたコーパスからの定型表現の自動抽出
- タグなしコーパスによる形態素解析と仮名漢字変換の精度向上
- タグなしコーパスによる形態素解析と仮名漢字変換の精度向上
- 単語リストと生コーパスによる確率的言語モデルの分野適応(言語の統計モデル)
- 単語リストと生コーパスによる確率的言語モデルの分野適応(言語の統計モデル)
- D-020 WWW画像検索システムにおける有害画像フィルタリング手法(D分野:データベース)
- 発話タイプ付きコーパスを用いた確率的対話モデルの自動生成
- 確率・統計的手法による対話構造のモデル化
- 確率・統計モデルの音声言語処理への応用 ( 「コーパスに基づく音声・自然言語処理」)
- 音声言語の確率モデル ( 「コーパスに基づく音声・自然言語処理」)
- 単語の出現位置情報を用いたコーパスからのコロケーションの自動抽出
- 確率的単語分割コーパスからの単語N-gram確率の計算(音声言語)
- 生コーパスからの単語N-gram確率の推定(仮名漢字変換・形態素構文解析)
- Earth Mover's Distance の高速検索ライブラリ fastEMD の開発
- 字幕付き映像データからの字幕領域の検出手法
- 中国の自然言語処理について
- MPEG映像データに対するカットシーンの高速検出手法
- 距離反比例型スコアを導入したコロケーションの自動抽出法
- 自由発話音声認識における音響分析の比較
- クラスに基づく可変長記憶マルコフモデル
- 自然言語処理 : 基礎と応用, (社)電子情報通信学会(編), 田中穂積(監修), "自然言語処理 : 基礎と応用", (社)電子情報通信学会(1999-03), A5判, 定価(本体5,400円+税)
- World Wide Webからの対訳データの自動収集
- 情報検索のための概念ベクトル生成手法
- PDDPによる概念ベクトルを用いた情報検索システム
- PDDPによる概念ベクトルを用いた情報検索システム
- ランダム・プロジェクションによるベクトル空間モデルの次元削減
- オーディオ指紋検索に適した高速なハミング空間検索
- LRパーザ制御によるOne-pass型連続音声認識アルゴリズム
- 単語リストと生コーパスによる確率的言語モデルの分野適応
- 無限語彙の仮名漢字変換(単語,文法)
- 点予測による自動単語分割
- サポートベクターマシンによる適合性フィードバックを用いた情報検索
- 3種類の辞書による自動単語分割の精度向上
- ETSI標準分散音声認識フロントエンドを用いた音声認識実験
- 音素依存線形判別分析の検討
- Simple PCAを用いたベクトル空間情報検索モデルの次元削減
- 音声対話システムにおける 簡略表現認識のための自動語彙拡張
- Non-negative Matrix Factorizationを用いた情報検索
- 情報検索システムの統計的手法による特徴と精度の分析
- ランダム・プロジェクションによるベクトル空間情報検索モデルの次元削除
- 解散フーリエ変換を用いたベクトル空間モデルの次元削減
- 教師あり学習によるベクトル空間モデルの精度改善
- 自然言語処理における分野適応(知識の転移)
- 検索質問多重化による高速なオーディオ指紋検索
- 方言対訳コーパスを用いた日本語方言音声認識システム(言語モデル・音声対話)