最大エントロピー法を用いてバイグラム確率からnグラム確率を求める
スポンサーリンク
概要
- 論文の詳細を見る
文字や単語のnグラム確率は統計的言語処理で強力な道具立てである。しかし、nが大きくなると推定すべきnグラム確率(パラメータの数が増加し、推定精度が低下するとともに、確率の値を格納する領域も大きくなるという問題があった。本文では、nグラム確率をn個の確率変数の同時分布と捉え、それらの確率変数に対する2次の周辺分布としてバイグラム確率を考える。その上で、周辺分布から同時分布を求める一般的手法である最大エントロピー法を適用して、バイグラム確率からnグラム確率を求める手法を提案する。本手法によって、パラメータの数を増加させることなく、精度良くnグラム確率を求めることができる可能性がある。次に、本手法を、文字トライグラムに適用して、有効性を実験する。その結果、(1) トライグラム自体を用いるよりも、未知データに対する被覆率が高くなること、(2) 隣接バイグラムのみを用いる手法よりも、精度が高いこと、などが分かった。
- 一般社団法人情報処理学会の論文
- 1996-05-28
著者
-
江原 暉将
NHK放送技術研究所
-
江原 暉将
Nhk放送技術研究所:(現)諏訪東京理科大学
-
江原 暉将
日本放送協会放送技術研究所
-
江原 暉将
Japan Broadcasting Corp. (nhk)
関連論文
- 部分文字列への最適な分割と文脈を考慮した変換による翻字処理(自然言語処理)
- 日英機械翻訳のための日本語長文自動短文分割と主語の補完
- 17-6 オフライン自動字幕番組制作システムの評価
- 8-5 字幕番組データを自動制作する新しい字幕制作システムの開発
- 聴覚障害者向けニュースの字幕提示方法に関する主観評価(人間の視覚・聴覚情報)
- 8-1 聴覚障害者のための字幕放送制作技術の研究状況 (第四報)
- 多様な提示法の字幕番組評価実験結果と実験用字幕番組の制作概要(人間とマルチメディア及び一般)
- 多様な提示法の字幕番組評価実験結果と実験用字幕番組の制作概要
- 8-3 聴覚障害者のための字幕放送制作技術の研究状況 (第三報)
- 多様な提示方法の実験字幕番組の自動制作手法と字幕評価実験概要 : 聴覚障害者向け自動字幕制作システムの研究開発
- 意味分類番号を用いた主語・述語の整合度の計算方法
- 形態素解析情報に基づく長い日本語ニュース文の分割
- World Wide Webを用いた外国人名の英訳自動獲得(自然言語)
- 翻訳用例提示システムの設計・開発・運用
- 日英放送原稿翻訳者のための類似用例提示型翻訳支援システム
- 多様な字幕表示形式を選択可能な字幕放送受信システム
- 多様な字幕表示形式を選択可能な字幕放送受信システム
- ニュース音声認識のための(n≥4)-gramを併用する言語モデル
- ニュース音声認識のための(n≧4)-gramを併用する言語モデル
- ニュース音声認識のための(n≧4)-gramを併用する言語モデル
- 通信・放送機構 渋谷上原リサーチセンターの研究紹介 : 視聴覚障害者向け放送ソフト制作技術の研究開発プロジェクト
- 確率モデルによる省略主語の補完
- 確率モデルによるゼロ主語の補完
- 固有ベクトル分析を用いた主語特徴の評価
- 人にやさしい放送と自然言語処理
- ニュース音声認識のための(n≧4)-gramを併用する言語モデル
- 放送ニュース文を対象とした効果的類似用例検索法
- 衛星放送用機械翻訳の辞書の改修 (慣用表現を中心に)
- ニュ-ス用英日機械翻訳システムの課題と改善--辞書,文法とその改修を中心に
- 4.1 音声処理と翻訳(4.応用技術)(最近の音声処理技術)
- 統計的手法を用いた日英放送原稿の単語対応づけ
- 15-10 聴覚障害者のための字幕放送制作技術の研究状況(第二報)
- 短文分割の自動要約への効果
- 衛星放送ワールドニュースの英日機械翻訳
- 高速な依存構造解析アルゴリズム
- 実験用字幕つきテレビニュースの制作と字幕表示法に関する予備評価
- 多様な提示法の実験用字幕番組制作と字幕表示法の予備評価実験
- 多様な提示法の実験用字幕番組制作と字幕表示法の予備評価実験
- 実験用字幕つきTVニュースの制作と字幕表示法に関する予備評価について
- 学習可能性の理論 (情報科学の数学的理論)
- 日本語字幕作成用英日機械翻訳システムの研究経緯と今後
- 字幕作成のための翻訳ワークベンチ
- 対訳データからの「訳し分け情報」の自動学習
- 衛星放送ニュース文の英語解析文法
- 自然言語による映像シーケンサ(新映像メディアとその応用)
- 特集「情報化社会への視聴覚障害者の参加を考える」の編集にあたって
- 15-8 聴覚障害者のための字幕つきテレビ放送制作への自然言語処理の応用
- 依存関係整合度の計算法(その2)
- 特集「自然言語処理技術の応用」の編集にあたって
- 学会活動について
- 4. 機械翻訳における自然言語処理 ( 自然言語処理技術の応用)
- 15-4 静止画像連想検索方式の検討
- 4-3 放送における文字情報の役割と要約文自動生成(4.人にやさしい音声・文字認識技術)(人にやさしいパターン認識)
- 自然言語処理「構文解析」特集号 巻頭言
- 編集にあたって(文科系大学・学部における情報教育)
- 係り受け整合度を計算するいくつかの統計的手法の比較
- 係り受け整合度を計算するいくつかの統計的手法の比較
- 最大エントロピー法を用いてバイグラム確率からnグラム確率を求める
- 類語国語辞典を介した意味マーカー付与
- 日本語「が」格の係り受け整合度の一計算法 : 基準名詞の個数に関する考察
- 日本語「が」格関係に関する考察
- An Automatic Timing Detection Method Using Word Spotting and Dynamic Programming for Superimposing Captions in Television Programs
- 放送におけるユニバーサルデザイン(放送と情報処理)
- 最大エントロピー法を用いてバイグラム確率からnグラム確率を求める
- 最大エントロピー法を用いてnグラム確率をバイグラム確率で補完する方法
- パソコンを用いた用字用語チェッカー
- 誤認識傾向を考慮した音声認識のための構文規則
- 話しことばにおける接続助詞終止とその音声認識への応用
- 衛星放送・英日機械翻訳システムの辞書整備
- 結合価パターンを用いた : 深層格抽出法の一検討
- 多様な字幕表示形式を選択可能な字幕放送受信システム
- 依存関係整合度の1計算法
- 機械翻訳の正翻訳率と翻訳に要する作業時間の関係
- 構文解析失敗の原因となる表現法の検出
- 対話データベースからの統計情報の抽出
- 経路代数を用いた文節の生成法