日本語の情報量の上限の推定

概要

論文の詳細を見る
本論文では, 形態素単位の n-gramモデル (1≤n≤16) による日本語の情報量の上限の推定方法とその結果を示す. 各 n-gramモデルは, データスパースネスの問題に対応するため, 低次の n-gram モデルとの補間を行ってある. 補間係数は, 最も有効であると考えられている削除補間法により求める. 実験ではEDRコーパスの約9割からモデルのパラメータを推定し, 残りの1割に対して情報量を計算した. その結果, n=16のときに1文字あたりの情報量は最小の4.30330ビットであった. また, 学習コーパスの大きさとモデルの次数による情報量の変化を調べた結果, モデルの次数を上げるごとによる情報量の減少量は微小であるが, 学習コーパスを大きくすることによる情報量の減少量はかなりあるということが分かった. さらに, パラメータ数とエントロピーの関係についても議論する. これは, 実際の日本語処理にn-gramモデルを応用する際に,適切にnの値を選ぶ指標となる.
一般社団法人情報処理学会の論文
1997-11-15