言語表現のベクトル空間モデルにおける最適な計量距離(自然言語処理)
スポンサーリンク
概要
- 論文の詳細を見る
自然言語処理の手法にはコサイン距離, すなわち単純なユークリッド距離に依存しているものが多いが, この距離は素性間の相関を考慮しないこと, また素性に恣意的な重みづけを必要とするという問題をもっている.本論文ではこれに代わり, 訓練データより導かれる最適な計量距離を提案し, 二つの問題を同時に解決する.この計量は訓練データのクラスタ構造のひずみを最小化する二次最適化問題の解として導くことができる.提案する計量距離の効果を, 同義文検索, 文書検索, 及び機械学習用一般ベクトルデータのクラスタリングタスクによって確認し, ユークリッド距離に対し常に精度の改善が見られた.特にクラスタ化の強い同義文検索タスクにおいて精度の改善が大きく, ベースラインと比較して11点平均精度で33%の向上があった.
- 社団法人電子情報通信学会の論文
- 2005-04-01
著者
-
菊井 玄一郎
ATR音声言語コミュニケーション研究所
-
北 研二
Atr音声言語コミュニケーション研究所:徳島大学高度情報化基盤研究センター
-
菊井 玄一郎
Atr音声言語コミュニケーション研究所音声言語処理研究室
-
持橋 大地
ATR音声言語コミュニケーション研究所音声言語処理研究室
-
持橋 大地
Atr音声コミュニケーション研究所音声言語処理研究室
-
持橋 大地
Atr音声言語コミュニケーション研究所自然言語処理研究室 : 独立行政法人情報通信研究機構
-
北 研二
ATR音声言語コミュニケーション研究所
関連論文
- 携帯型端末を用いた音声自動翻訳システムとフィールド実験(モバイルと放送の融合時代を迎えて(1セグ放送, モバイル放送, 携帯放送融合サービス, 1セグ対応携帯端末, モバイルコンテンツと放送コンテンツの融合, マルチメディア配信, ディジタル放送受信機, および一般))
- Particle Filterによる文脈の動的ベイズ推定(意味(言語モデル・文書分類))
- 機械介在対話方式による音声データの収集
- コーパスベース音声翻訳研究のための対話データ収集
- 個人の選好に応じた単語の重要度の学習
- 複数のマルコフモデルを用いた階層化言語モデルによる未登録語認識(音声、聴覚)
- 連続音声認識システムにおけるfactoringテーブルのコンパクト化と不要単語仮説のガーベジコレクション
- 機械学習を用いた複数の大語彙連続音声認識モデルの出力の混合 : 旅行会話音声における評価
- 文認識率の向上に向けたFSAとNGRAMの併用モデルによる大語彙連続音声認識
- ROVER法を用いた音声認識結果の統合と誤認識文のリジェクション
- 文クラスタリングによる複数言語モデルを用いた誤認識文の推定
- サブワードモデルを用いた未登録語認識の効率的探索手法(音声言語情報処理とその応用)
- 後続仮説数の管理機能を用いた単語グラフの仮説数削減
- 2つの単語クラスから生じた未登録語のサブワードモデルによる音声認識
- サブワードモデルを用いた未登録語認識における効率的探索手法
- コミュニケーション効率に基づく音声翻訳システムの評価(異文化コラボレーション論文)
- コミュニケーション効率に基づく課題遂行型音声対話の評価(第8回音声言語シンポジウム)
- コミュニケーション効率に基づく課題遂行型音声対話の評価(Session-3 コミュニケーション・対話,第8回音声言語シンポジウム)
- 課題遂行型対話実験による日英及び日中音声翻訳システムの評価
- 音声翻訳研究の展開(機械翻訳)
- 携帯型端末を用いた音声自動翻訳システムとフィールド実験
- 音声認識結果と非母語話者の聞き取り能力の比較による音声言語処理システムの性能評価(音声言語応用)
- E-013 日本語話者の中国語運用能力との比較による日中翻訳評価の検討(E.自然言語・文書・ゲーム)
- 日本語話者の英語運用能力との比較による英日翻訳の評価(機械翻訳・言い換え)
- 大規模用例を用いた音声認識誤り訂正の検討
- 旅行会話基本表現コーパスを用いた認識誤り訂正の検討
- 旅行会話基本表現コーパスを用いた認識誤り訂正の検討
- 旅行会話基本表現コーパスを用いた認識誤り訂正の検討
- 中国語形態素コーパスと言語モデルの評価 : パラレルコーパスにおける日英両言語との比較
- 音声翻訳のための中国語対話コーパスの整備とその評価(マルチモーダル, コーパス・言語モデル)
- 音声翻訳のための中国語対話コーパスの整備とその評価(マルチモーダル, コーパス・言語モデル)
- 異種コｰパスの組合せによるトリガｰ言語モデルの構築
- 異種コーパスの組合せによるトリガー言語モデルの構築
- 異種コーパスの組合せによるトリガー言語モデルの構築(言語モデル)(第6回音声言語シンポジウム)
- 異種コーパスの組合せによるトリガー言語モデルの構築(言語モデル)(第6回音声言語シンポジウム)
- 異種コーパスの組合せによるトリガー言語モデルの構築(言語モデル)(第6回音声言語シンポジウム)
- 信頼度尺度に基づく音声認識誤りの検出および誤り訂正(合成, 韻律, 生成, 一般)
- 用例型構文解析による句構造情報を利用した言語モデル
- 文クラスタリングによる複数言語モデルを用いた誤認識文の推定
- 文クラスタリングによる複数言語モデルを用いた誤認識文の推定
- グラフモデルの提案とテキスト検索システムへの適用による評価
- 日独音声言語翻訳実験システム
- 話し言葉の日英翻訳システムの評価法
- コミュニケーション効率に基づく課題遂行型音声対話の評価(Session-3 コミュニケーション・対話,第8回音声言語シンポジウム)
- コミュニケーション効率に基づく課題遂行型音声対話の評価
- 翻訳システムを介した音声対話における相手話者音声と翻訳テキスト表示の影響について(対話)
- 翻訳システムを介した音声対話における相手話者音声と翻訳テキスト表示の影響について(対話)
- 音声インタフェースのための発話を単位とした話題及び発話行為タイプの推定(音声,聴覚)
- 音声対話処理のための発話単位のトピック推定
- 無限混合ディリクレ文書モデル(文書処理,質問応答)
- 言語表現のベクトル空間モデルにおける最適な計量距離(自然言語処理)
- コミュニティを考慮したカーネル引用解析(データ工学研究専門委員会推薦論文,情報検索,データ工学論文)
- 自然言語処理におけるベイズ統計(ベイズ情報処理,ベイズ情報処理及び一般)
- 階層Pitman-Yor過程に基づく可変長n-gram言語モデル(知識処理,インタラクションの理解とデザイン)
- Pitman-Yor過程に基づく可変長n-gram言語モデル(言語モデル・応用)
- 自然言語処理におけるベイズ統計
- PLSAによる確率的概念空間の評価
- 意味の確率的表現
- 連想としての意味