最大エントロピー法による単語境界確率の推定
スポンサーリンク
概要
- 論文の詳細を見る
言語モデルの分野適応において、適応対象の分野の単語境界情報のない生コーパスの有効な利用方法として、確率的単語分割コーパスとしての利用が提案されている。この枠組では、生コーパス中の各文字間に単語境界が存在する確率を付与し、それを用いて単語n-gram確率などが計算される。本論文では、この単語境界確率の新しい推定方法を提案し、これによってより良い言語モデルが構築できることを実験的に示す。加えて、確率的単語分割コーパスを従来の決定的に単語に分割されたコーパスで模擬する方法を提案し、言語モデルの能力を下げることなく計算コストが削減できることを示す。
- 社団法人情報処理学会の論文
- 2006-10-20
著者
-
森 信介
京都大学
-
倉田 岳人
日本アイ・ビー・エム株式会社東京基礎研究所
-
森 信介
日本アイ・ビー・エム東京基礎研究所
-
小田 裕樹
日本アイ・ビー・エム東京基礎研究所
-
小田 裕樹
京都大学学術情報メディアセンター
-
倉田 岳人
日本アイ・ビー・エム株式会社,東京基礎研究所
関連論文
- 現場発想による自然言語処理ブレークスルーの探求(平成21年度論文賞の受賞論文紹介)
- 擬似確率的単語分割コーパスによる言語モデルの改良
- ユーザの発話傾向分析に基づく車載機器操作のための音声入力手法の検討(音声システム,システム開発論文)
- 単語クラスタリングによる確率的言語モデルの分野適応
- 2000-SLP-32-3 構文構造を反映した確率的言語モデル
- 放送大学コーパスを用いた自由発話の大語彙連続音声認識
- 部分的かつ曖昧なラベル付き構造データからのマルコフ条件付確率場の学習(情報抽出・ラベル付与)
- 最大エントロピー法による単語境界確率の推定
- 文字クラスモデルによる日本語単語分割
- 文字クラスモデルに基づく日本語単語分割
- 7 音声インタフェースの現状とイノベーションの可能性(音声認識技術の実用化への取り組み)
- 音声インタフェースの現状とイノベーションの可能性 (特集 音声認識技術の実用化への取り組み)
- 確率的モデルによる仮名漢字変換
- nグラム統計によるコーパスからの未知語抽出
- 音声認識のための言語処理 : 何が足りないか?(言語モデル)
- 日本語自由発話電話音声からの固有表現抽出
- 現場発想による自然言語処理ブレークスルーの探求
- 日本語単語分割の分野適応のための部分的アノテーションを用いた条件付き確率場の学習
- 日本語生コーパスから自動獲得した未知語と言語モデルによる大語彙連続音声認識([特別セッション]音声言語獲得・学習技術(2), 未知語処理)
- 3種類の辞書による自動単語分割の精度向上
- 音声とテキストを用いた認識単語辞書の自動構築
- ユーザの発話傾向分析に基づく車載機器操作のための音声入力手法の検討
- 講義関連コーパスを利用した音声認識システムの自動適応(音声,聴覚)
- 音声合成のための自動アクセントラベリング(セッション5 : 音声認識+音声合成)
- 音声合成のための自動アクセントラベリング(セッション5 : 音声認識+音声合成)
- N-gramモデルを用いた音声合成のための読みおよびアクセントの同時推定(音声言語,情報処理技術のフロンティア)
- 確率モデルを用いた読み及びアクセント推定(言語解析, 対話)
- 音声認識・理解のための統計的言語処理
- 単語リストと生コーパスによる確率的言語モデルの分野適応(言語の統計モデル)
- 単語リストと生コーパスによる確率的言語モデルの分野適応(言語の統計モデル)
- 確率的単語分割コーパスからの単語N-gram確率の計算(音声言語)
- 無限語彙の仮名漢字変換(自然言語)
- クラスに基づく可変長記憶マルコフモデル
- 自然言語処理 : 基礎と応用, (社)電子情報通信学会(編), 田中穂積(監修), "自然言語処理 : 基礎と応用", (社)電子情報通信学会(1999-03), A5判, 定価(本体5,400円+税)
- 点予測による自動単語分割
- 3種類の辞書による自動単語分割の精度向上
- 音声対話システムにおける 簡略表現認識のための自動語彙拡張
- 自然言語処理における分野適応(知識の転移)
- 方言対訳コーパスを用いた日本語方言音声認識システム(言語モデル・音声対話)
- 大語彙連続音声認識と音節N-best音声認識を用いたSpoken Term Detectionの高精度化