Pitman-Yor過程に基づく可変長n-gram言語モデル(言語モデル・応用)
スポンサーリンク
概要
- 論文の詳細を見る
本論文では, n-gram分布の階層的生成モデルである階層Pitman-Yor過程を拡張することで,各単語の生まれた隠れた文脈を推定することのできるベイズ言語モデルを提案する.無限の深さをもつSuffix Tree上の確率過程を考えることにより,句を確率的に発見し,適切な文脈長を学習する.本手法は言語モデルだけでなく,マルコフモデル一般について,そのオーダーをデータから推定できる可変長生成モデルとなっている.英語および中国語の標準的なコーパスでの実験により,提案法の有効性を確認した.
- 一般社団法人情報処理学会の論文
- 2007-03-28
著者
-
隅田 英一郎
ATR音声言語コミュニケーション研究所
-
隅田 英一郎
Atr音声翻訳通信研究所
-
隅田 英一郎
情報通信機構:国際電気通信基礎技術研究所
-
隅田 英一郎
情報通信研究機構:atr音声言語コミュニケーション研究所
-
隅田 英一郎
Atr音声言語コミュニケーション研究所:(現)独立行政法人情報通信研究機構およびatr音声言語コミュニケーション研究所
-
持橋 大地
ATR音声言語コミュニケーション研究所音声言語処理研究室
-
隅田 英一郎
Atr音声言語コミュニケーション研究所自然言語処理研究室 : 独立行政法人情報通信研究機構
-
持橋 大地
Atr音声コミュニケーション研究所音声言語処理研究室
-
持橋 大地
Atr音声言語コミュニケーション研究所自然言語処理研究室 : 独立行政法人情報通信研究機構
関連論文
- NICT知識創成コミュニケーション研究センターの研究と高度言語情報融合フォーラム(ALAGIN)の活動について(Web情報処理,Webとデータベースに関する技術報告)
- NICTにおける音声・言語研究拠点MASTARプロジェクトについて(「ユニバーサルコミュニケーションを実現するための言語処理技術」シンポジウム)
- 音声翻訳研究20年の夜明け : 受賞業績 携帯電話によるネットワーク型コーパスベース音声翻訳システムの構築(平成19年度喜安記念業績賞紹介)
- 2D-5 多言語音声翻訳基盤の通信インタフェースの検討と構築(音声対話・翻訳,一般セッション,人工知能と認知科学)
- 英語コミュニケーション能力の自動測定技術の提案
- Particle Filterによる文脈の動的ベイズ推定(意味(言語モデル・文書分類))
- 機械翻訳の研究・開発における翻訳自動評価技術とその応用(テキストの自動評価)
- G_012 Using Ontological Knowledge to Disambiguate Unknown Words in Semantic Tagging
- 個人の選好に応じた単語の重要度の学習
- 2 ここまできた音声翻訳技術(多言語自動通訳技術の実現に向けて)
- 複数の編集距離を用いた口語翻訳文の自動評価
- 機械翻訳システム評価法の最前線
- 英語能力測定のための空所補充問題の自動生成手法(言語の学習・教育)
- 音声翻訳技術開発の経験に基づく外国語能力評価法の提案
- N-Best疑似コーパスを利用したピボット翻訳(「ユニバーサルコミュニケーションを実現するための言語処理技術」シンポジウム)
- 統計翻訳における木構造制約の導入(機械翻訳・医療情報)
- LG_003 統計翻訳のための言語モデルのオンラインタスク適応(G分野:音声・音楽)
- 編集距離を使った用例翻訳の高速検索方式と翻訳性能評価(自然言語)
- 大規模用例を用いた音声認識誤り訂正の検討
- 旅行会話基本表現コーパスを用いた認識誤り訂正の検討
- 旅行会話基本表現コーパスを用いた認識誤り訂正の検討
- 旅行会話基本表現コーパスを用いた認識誤り訂正の検討
- 対話者の社会的役割を利用した訳し分け手法
- テキストデ タを使った音声認識誤りの訂正
- 機械翻訳最新事情 : (下)評価型ワークショップの動向と日本からの貢献
- 無限混合ディリクレ文書モデル(文書処理,質問応答)
- 言語表現のベクトル空間モデルにおける最適な計量距離(自然言語処理)
- 統計翻訳指標を導入した構文トランスファに基づく用例翻訳(機械翻訳)
- 階層的句アラインメントを用いた統計的機械翻訳(自然言語処理)
- 生成方向を考慮した統計的機械翻訳のためのデコーディングアルゴリズム(自然言語)
- パラレルコーパスからの機械翻訳向け同義表現抽出(自然言語)(「インタラクション:理論,技術,応用,評価」)
- E-53 Paraphrasing by Statistical Machine Translation
- SMT指標を用いた複数翻訳エンジンからの最適訳選択
- SMT指標を用いた複数翻訳エンジンからの最適訳選択
- 句に基づく構文トランスファ方式統計翻訳(自然言語)
- 単語翻訳モデルを用いた翻訳後編集による湧き出し語対策(自然言語,情報処理技術のフロンティア)
- 単語翻訳モデル駆動型の翻訳後編集(言い換えと翻訳)
- 単語翻訳モデル駆動型の翻訳後編集(言い換えと翻訳)
- 機械翻訳のための文簡易化(機械翻訳)
- 発話を対象とした類似文検索と機械翻訳への適用
- 自動評価を用いた機械翻訳規則のフィードバッククリーニング(自然言語)
- スラッシュ・リーディングのためのテキスト分割
- 直訳性を利用した機械翻訳知識の自動構築
- E-52 直訳性に着目した対訳コーパスフィルタリング(機械翻訳(2),E.自然言語・文書)
- 音声翻訳システム : ATR-MATRIXの開発と評価(音声言語情報処理とその応用)
- 解析木データベースを用いた音声認識誤り訂正手法
- 文字連鎖の統計的特徴を利用した音声認識誤り訂正手法
- 決定木を用いた日本語ゼロ代名詞補完
- 意味的類似性と多義解消を用いた文書検索手法
- 「異言語間コミュニケーションと自動翻訳」(コミュニケーション)
- 類似検索を用いた情報検索システム
- 単語間の意味的類似度に基づく文書検索手法
- 英語前置詞句係り先の用例主導あいまい性解消
- 経験的知識を活用する変換主導型機械翻訳
- 変換主導機械翻訳の超並列化の検討
- 用例主導型機械翻訳の超並列連想プロセッサIXM2による高速化
- 用例に基づいて英語前置詞の訳し分けを行う英日翻訳システム
- 用例に基づいた翻訳
- 複数決定木を用いた入力誤りに頑健な省略補完手法
- 決定木学習による日本語対話文の格要素省略補完
- 音声対話における頑健な主語補完手法
- 単語と品詞の混合 n-gram を用いた形態素解析
- コミュニティを考慮したカーネル引用解析(データ工学研究専門委員会推薦論文,情報検索,データ工学論文)
- E-51 パラレルコーパスからの語彙的パラフレーズ獲得(機械翻訳(2),E.自然言語・文書)
- LE-2 用例翻訳のための同義表現同定(E. 自然言語・文書)
- 形態素体系間の情報変換手法
- 自然言語処理におけるベイズ統計(ベイズ情報処理,ベイズ情報処理及び一般)
- 階層Pitman-Yor過程に基づく可変長n-gram言語モデル(知識処理,インタラクションの理解とデザイン)
- E-50 用例ベース翻訳D^3のための文分割(機械翻訳(2),E.自然言語・文書)
- Pitman-Yor過程に基づく可変長n-gram言語モデル(言語モデル・応用)
- 自然言語処理におけるベイズ統計
- Web時代の音声・言語技術
- PLSAによる確率的概念空間の評価
- 意味の確率的表現
- 連想としての意味
- ATRの会話音声翻訳研究用データベース(音声研究関連データベースの動向)
- 音声翻訳システム実利用データを用いたシステム改善手法(音声翻訳,統計的機械学習,異文化コラボレーション論文)
- 高度言語情報融合フォーラム(ALAGIN) (知識創成コミュニケーション特集) -- (産学官連携)
- 多言語音声翻訳システム"VoiceTra"の構築と実運用による大規模実証実験(音声,聴覚,システム開発論文)