クラスに基づく言語モデルのための単語クラスタリング
スポンサーリンク
概要
- 論文の詳細を見る
本論文では, クラスに基づく n-gramモデルのための単語クラスタリングの方法について述べる. クラスタリングの基準は, n-gramモデルの推定に用いるコーパスとは別に用意したコーパスのエントロピーであり, 探索方法は貧欲アルゴリズムに基づいている. このため, 局所的にではあるが最適な単語のクラス分類がクラス数をあらかじめ決めることなく得られる. この方法を日本語コーパスに適用して, 59,956個の単語をクラスに分類した結果, 5,974個のクラスが得られた. このクラス分類からクラスに基づく n-gramモデルを構成し, テストセットパープレキシティを計算すると146.4であり, 同じ学習コーパスから得られる単語に基づく n-gramモデルによる値 (153.1) や人間が与えた品詞に基づくn-gramモデルによる値 (392.4) よりも低い値となった.
- 一般社団法人情報処理学会の論文
- 1997-11-15
著者
-
西村 雅史
日本アイ・ビー・エム東京基礎研究所
-
伊東 伸泰
日本アイ・ビー・エム東京基礎研究所
-
西村 雅史
日本アイ・ビー・エム株式会社東京基礎研究所
-
西村 雅史
日本アイ・ビー・エム(株)
-
森 信介
京都大学工学研究科
関連論文
- IBMプロフェッショナル論文 作業効率の高いテキスト合成音声チューニング環境
- 音声認識応用に関する学会試行標準
- コーパスベース日本語音声合成フロントエンド (システム開発論文特集)
- 波形重畳型音声合成の韻律と音質のためのF0傾きモデルの利用(音声合成・韻律,第9回音声言語シンポジウム)
- コーパスベース日本語音声合成フロントエンド(音声システム,システム開発論文)
- ユーザの発話傾向分析に基づく車載機器操作のための音声入力手法の検討(音声システム,システム開発論文)
- カーナビの音声インターフェース--理想と現実のギャップ
- 剖検記録の音声認識のための言語モデル作成
- 単語クラスタリングによる確率的言語モデルの分野適応
- 電話音声による列車時刻問合せシステムの評価
- LSAにもとづく電話音声情報検索システム
- 子供音声データベース
- 構造を仮定しない文解釈の一手法
- 自由発話向け言語モデルの現状と課題
- 講義コーパスを用いた自由発話の大語彙連続音声認識(音声情報処理 : 現状と将来技術論文特集)
- 形態素係り受けモデルによる構文解析
- 2000-SLP-32-3 構文構造を反映した確率的言語モデル
- 放送大学コーパスを用いた自由発話の大語彙連続音声認識
- 口語体言語モデルのためのコーパス
- 単語を認識単位とした日本語の大語彙連続音声認識 (音声言語情報処理)
- 音声ワープロ : 過去・現在・未来
- 放送音声の書き起こしに関する検討
- 音声認識・合成によるホームページの閲覧方式
- 単語単位による日本語言語モデルの検討
- ニュース音声書き起こしシステムに関する検討
- 単語を認識単位とした日本語の大語彙連続音声認識
- 7 音声インタフェースの現状とイノベーションの可能性(音声認識技術の実用化への取り組み)
- 音声インタフェースの現状とイノベーションの可能性 (特集 音声認識技術の実用化への取り組み)
- 波形重畳型音声合成の韻律と音質のためのF0傾きモデルの利用(音声合成・韻律,第9回音声言語シンポジウム)
- 波形重畳型音声合成の韻律と音質のためのF0傾きモデルの利用(音声合成・韻律,第9回音声言語シンポジウム)
- 電話音声による列車時刻問合せシステムの評価
- 日本語自由発話電話音声からの固有表現抽出
- 長時間スペクトル変動と調波構造に基づく発話区間検出法の音声認識による評価
- [パネルディスカッション]音声認識技術がキャズムを越えるには?
- 日本語生コーパスから自動獲得した未知語と言語モデルによる大語彙連続音声認識([特別セッション]音声言語獲得・学習技術(2), 未知語処理)
- 音声合成を用いたインターネット動画用音声ガイド
- 音声言語インタフェースのための情報処理学会試行標準
- 音声とテキストを用いた認識単語辞書の自動構築
- 中間累積距離と音節間類似度を用いた単音節音声認識
- フェノニックマルコフモデルに基づく音声認識のための話者適応化法
- ユーザの発話傾向分析に基づく車載機器操作のための音声入力手法の検討
- 長時間スペクトル変動情報と調波構造特徴量を併用した発話区間検出法(音声認識技術)
- 自動車内音声認識のためのスペクトル サブトラクションとエコーキャンセラの同時適応法
- プロファイル・フィッティング法による音源位置推定
- プロファイルフィッティング法による雑音抑圧処理
- ビーム形状に注目した音声強調処理
- 多重ベータ混合モデルを用いた調波時間構造のモデル化による音声合成の検討(一般(ポスターセッション),第11回音声言語シンポジウム)
- 多重ベータ混合モデルを用いた調波時間構造のモデル化による音声合成の検討(一般(ポスターセッション),第11回音声言語シンポジウム)
- 講義関連コーパスを利用した音声認識システムの自動適応(音声,聴覚)
- 音声合成のための自動アクセントラベリング(セッション5 : 音声認識+音声合成)
- 音声合成のための自動アクセントラベリング(セッション5 : 音声認識+音声合成)
- N-gramモデルを用いた音声合成のための読みおよびアクセントの同時推定(音声言語,情報処理技術のフロンティア)
- 確率モデルを用いた読み及びアクセント推定(言語解析, 対話)
- 読み上げ韻律との差分を使った強調韻律の学習
- 音声認識ビジネスの現状と将来展望(音声認識のビジネス動向)
- 雑音・残響下音声認識におけるHMM分離・合成法の改良(音響と音声処理,音声強調,ロバスト音声認識)
- 雑音・残響下音声認識におけるHMM分離・合成法の改良(音響と音声処理,音声強調,ロバスト音声認識)
- ハンズフリー音声認識におけるHMM分離法の改良
- 残響下音声認識におけるHMM分離法の改良
- 調波構造と音源方向を利用した音声強調手法の検討
- フレーム単位でのモデル選択による突発性雑音下での音声認識
- 車内音声認識におけるマルチスタイル学習法の効果について
- HMM 合成と遅延和アレーの統合による混合音声の認識
- HMM合成法を用いた混合音声の認識
- IBM電話音声自動応答システム(音声処理技術のデモの紹介)
- 日本語ディクテーションシステムの現状と今後の課題
- 日本語ディクテーションシステムの現状と今後の課題
- 日本語ディクテーションシステムの現状と今後の課題
- 音声認識・理解のための統計的言語処理
- 音声ワープロ最新事情
- IBMプロフェッショナル論文 息継ぎ音を利用したコールセンター会話音声の発話分割
- オンライン文字認識における後処理 : 住所・姓名の文字補完機能
- カナ姓名のペン入力後処理における予測処理について
- 単語を認識単位とした日本語大語彙連続音声認識
- 単語を認識単位とした日本語ディクテーションシステム
- 人の発声単位を考慮した日本語言語モデルの検討 : 日本語における単語とは
- 単語を認識単位とした日本語ディクテーションシステム
- 口述筆記や音声対話,音声自動翻訳に実用化されはじめた 声認識技術の基礎と応用プログラム開発手法 (特集 マルチメディア/インタ-ネット時代の必須技術となる 圧縮/認識/合成を追求する音声処理の徹底研究)
- 音声認識の最新技術--日本語ディクテ-ションプログラム
- N-gramを用いた日本語テキストの単語単位への分割
- クラスに基づく言語モデルのための単語クラスタリング
- 離散単語発生による日本語ディクテーションシステムについて
- 確率文法を用いた文書論理構造の解釈法
- 文書の論理構造を解釈する一手法
- 正規表現を辞書項目とする形態素解析辞書の構成と利用
- オンライン文字認識を用いた漢字住所入力
- Bigramによるオンライン漢字認識の文脈後処理手法
- OCR入力された日本話文の誤り検出と自動訂正
- 日本語Dictation Systemのための統計的言語モデルに関する一考察
- 日本語文音声認識システムを利用した音声圧縮・編集方法の提案
- Decision Treeによる日本語音素環境クラスタリングの検討
- 汎用音声処理カードによる大語彙音声認識
- PC系 音声認識ソフトウエアの到達点 (特集 入力しなければ何も起きない「情報入力技術」に注目!!)
- 音声認識ソフトウエアの実力(IBM) (特集 応用製品も登場、いよいよ実用化時代へ 99音声認識探検隊) -- (応用事例)
- 息継ぎ音を利用した電話音声の発話分割 (音声)
- 息継ぎ音を利用した電話音声の発話分割 (パターン認識・メディア理解)
- 音声データの隠れ属性を利用した異種音響モデル群の構築
- 息継ぎ音を利用した電話音声の発話分割(音声処理,時系列パターン認識)
- 息継ぎ音を利用した電話音声の発話分割(音声処理,時系列パターン認識)
- 特徴空間における長時間スペクトル変動成分の識別学習