確率的単語分割コーパスからの単語N-gram確率の計算(音声言語)
スポンサーリンク
概要
- 論文の詳細を見る
確率的言語モデルは,音声認識やスペルチェッカなどの言語処理において重要な役割を担っている.最も一般的な確率的言語モデルは単語n-gramモデルであるが,実用的な予測力を実現するには,正しく単語に分割された対象分野のコーパスが大量に必要である.日本語では単語境界は明示されないので,自動単語分割による推定結果を人手で修正する.これには,対象分野の語彙の知識を有する作業者があたる必要があり,多大な時間とコストがかかる.この問題を解決するために,本論文では,文字列である生コーパスに各文字間に単語境界が存在する確率を付与した「確率的単語分割コーパス」という概念を提案し,確率的単語分割コーパスからの単語n-gram確率の計算について述べる.この方法の有用性を評価するために,確率的言語モデルにおける昨今の課題である分野適応の実験を行い,既存手法に対する優位性を示した.
- 一般社団法人情報処理学会の論文
- 2007-02-15
著者
-
倉田 岳人
日本アイ・ビー・エム株式会社東京基礎研究所
-
森 信介
日本アイ・ビー・エム東京基礎研究所
-
森 信介
日本IBM東京基礎研究所
-
森 信介
日本アイ・ビー・エム株式会社東京基礎研究所
-
宅間 大介
日本アイ・ビー・エム株式会社東京基礎研究所
-
宅間 大介
日本アイ・ビー・エム 東京基礎研
-
倉田 岳人
日本アイ・ビー・エム株式会社,東京基礎研究所
関連論文
- ユーザの発話傾向分析に基づく車載機器操作のための音声入力手法の検討(音声システム,システム開発論文)
- 単語クラスタリングによる確率的言語モデルの分野適応
- 形態素係り受けモデルによる構文解析
- 2000-SLP-32-3 構文構造を反映した確率的言語モデル
- 放送大学コーパスを用いた自由発話の大語彙連続音声認識
- 最大エントロピー法による単語境界確率の推定
- 文字クラスモデルによる日本語単語分割
- 文字クラスモデルに基づく日本語単語分割
- 7 音声インタフェースの現状とイノベーションの可能性(音声認識技術の実用化への取り組み)
- 音声インタフェースの現状とイノベーションの可能性 (特集 音声認識技術の実用化への取り組み)
- 確率的モデルによる仮名漢字変換
- nグラム統計によるコーパスからの未知語抽出
- 日本語自由発話電話音声からの固有表現抽出
- 日本語生コーパスから自動獲得した未知語と言語モデルによる大語彙連続音声認識([特別セッション]音声言語獲得・学習技術(2), 未知語処理)
- 確率的モデルによる仮名漢字変換
- 確率的モデルによる仮名漢字変換
- 予測単位の変更によるn-gramモデルの改善
- 予測単位の変更によるn-gramモデルの改善
- 予測単位の変更によるn-gramモデルの改善
- 日本語の情報量の上限の推定
- 音声とテキストを用いた認識単語辞書の自動構築
- 形態素クラスタリングによる形態素解析精度の向上
- タグ付きコーパスからの統語規則の獲得
- ユーザの発話傾向分析に基づく車載機器操作のための音声入力手法の検討
- 講義関連コーパスを利用した音声認識システムの自動適応(音声,聴覚)
- 音声合成のための自動アクセントラベリング(セッション5 : 音声認識+音声合成)
- 音声合成のための自動アクセントラベリング(セッション5 : 音声認識+音声合成)
- N-gramモデルを用いた音声合成のための読みおよびアクセントの同時推定(音声言語,情報処理技術のフロンティア)
- 確率モデルを用いた読み及びアクセント推定(言語解析, 対話)
- 音声認識・理解のための統計的言語処理
- nグラム統計によるコーパスからの未知語抽出
- nグラム統計によるコーパスからの未知語抽出
- タグなしコーパスによる形態素解析と仮名漢字変換の精度向上
- タグなしコーパスによる形態素解析と仮名漢字変換の精度向上
- 単語リストと生コーパスによる確率的言語モデルの分野適応(言語の統計モデル)
- 単語リストと生コーパスによる確率的言語モデルの分野適応(言語の統計モデル)
- 確率的単語分割コーパスからの単語N-gram確率の計算(音声言語)
- 生コーパスからの単語N-gram確率の推定(仮名漢字変換・形態素構文解析)
- 安全語のアンマスキングによる機密情報マスキングシステム(情報抽出2,夏のデータベースワークショップDBWS 2006)
- 安全語のアンマスキングによる機密情報マスキングシステム(情報抽出)
- 大規模日本語テキストのnグラム統計の作り方と語句の自動抽出
- 語彙化マルコフモデルによる英語品詞タグ付け
- 形態素bi-gramと品詞bi-gramの重ね合わせによる形態素解析
- 統計によるタグ付きコーパスからの統語規則の獲得
- 無限語彙の仮名漢字変換(自然言語)
- クラスに基づく可変長記憶マルコフモデル
- 自然言語処理 : 基礎と応用, (社)電子情報通信学会(編), 田中穂積(監修), "自然言語処理 : 基礎と応用", (社)電子情報通信学会(1999-03), A5判, 定価(本体5,400円+税)
- IBMプロフェッショナル論文 対話的テキストマイニングのためのソフトウェアアーキテクチャー
- テキストデータを用いた問題の早期発見手法(意味表現・データマイニング)
- 単語リストと生コーパスによる確率的言語モデルの分野適応
- 無限語彙の仮名漢字変換(単語,文法)
- IBMプロフェッショナル論文 コールセンターのログデータを用いた製品等の不具合の早期発見
- 係り受けを用いた確率的言語モデル
- 大語彙連続音声認識と音節N-best音声認識を用いたSpoken Term Detectionの高精度化