Nグラムモデルによる、日本語単語の並べ換え実験

スポンサーリンク

概要

論文の詳細を見る
我々は、日本語の統計的言語モデルについて研究を行なっている。その手始めとして、単語のnグラムモデルが、どのくらい強力であるかを、「ランダムに並べられた単語列からもとの文を推定できるか」という観点で調べた。この実験は、Brownらによって、"bag translation"と呼ばれたものである。彼らは、音声認識用に用意されたtrigramモデルを用いた。100文のテスト文のうち、長さが11語未満の38文について、全く同じ文が再現されたものが24文(63%)、また、語順は異なるが、意味が同じ文に再現されたものが32文(84%)であったという。我々の実験では、長さが10語の文1000文について、2-gramモデルで24%、3-gramモデルで、39.4%の再現率を得た。この結果は、英語で効果力確認された単純な統計的言語モデルが、大方の予想に反して、日本語においても同程度にうまく働くことを示唆している。
一般社団法人情報処理学会の論文
1994-09-20

著者

関連論文

もっと見る

スポンサーリンク