二次記憶上の大規模語彙を用いる自然言語処理システム

概要

論文の詳細を見る
文法規則と辞書とを分離した自然言語処理システムにおいては,扱う文の数や範囲が増カロするにつれて,文法規則と語乗双方とも増加する.このうち,文法規則は日本語の構文パターンに限りがあるので,ある程度のところで落ち着くが.語禁は無限に増加し,したがって辞脅の大きさは拡張を続けることになる.従来の自然言語処理システムにおいては,文法規則と辞書を主記憶上に置いて,構文を処理する手法をとっているものがほとんどであった.しかしながら,上記のように,語乗の増加に伴って主記憶上の辞書だけでは容易的に対処できなくなってきている.本論文では,辞書を主記憶と二次記憶の両方に作成し,大規模な語彙を用いることができるようにした構文解析システムについて述べる.文の中に頻出する動詞,助詞,助動詞などは主記憶上におき,語彙の中で多数を占める名詞は二次記憶上に常駐させてある.二次記憶上の辞書を効率的に検索するために辞書は順序ハシシュの形に展開されている.また,この辞書は,電子化された国語辞典の見出し語から自動的に抽出されたもので,約13万の語彙を有する.文法規則には計算機処理を想定して書かれた水谷文法を用いた.この文法を用いると,従来文法と比較して,構文解析木の数が少なくなり,後の意味処理の負担が軽減されることも示す.
一般社団法人情報処理学会の論文
1988-06-15

二次記憶上の大規模語彙を用いる自然言語処理システム

スポンサーリンク

概要

著者

関連論文

スポンサーリンク