日本語における単語の造語モデルとその評価
スポンサーリンク
概要
- 論文の詳細を見る
べた書き日本語文の形態素解析では多くの曖昧さと未登録語の存在が大きな問題となる.これらの問題に対処するものとして,本論文では日本語における単語の造語モデルを示す.このモデルは,日本語における単語の造語は漢字の意味的,音韻的結合によってなされると仮定し,確率モデル化を行ったものである.曖昧さの絞り込みを行う方法の一つとしては,単語の生起確率の利用が考えられるが,分野を限定せずに単語の生起確率を統計的に獲得することは極めて困難である.造語モデルでは通常の統計的手法によらず,単語辞書の見出しから機械的処理により漢字の結合傾向をとらえ,これに基づいて単語の生起確率を推定する.統計的情報を有する場合にはそれをモデルに反映させることも可能である.造語モデルの利用法は生起確率推定だけにとどまらない.このモデルでは未知語の造語も可能であり,造語できる語は単語らしいと見なすことができる.これは,推定された生起確率を文字列の単語らしさの評価値として利用できることを示している.造語モデルによって推定された生起確率が妥当なものであるかの評価は非常に困難である.本論文ではモデルに求められる性質をいくつかあげ,それに基づいてモデルの評価を試みる.単語辞書の見出しという乏しい情報から出発したにしては良好な結果を得ている.
- 一般社団法人情報処理学会の論文
- 1993-09-15
著者
-
日高 達
九州大学名誉教授
-
永井 秀利
九州工業大学大学院情報工学研究科
-
日高 達
九州大学工学部電子工学科
-
永井 秀利
九州工業大学
-
永井 秀利
九州工業大学情報工学部知能情報工学教室
-
日高 達
九州大学工学部
関連論文
- シソーラスを用いた派生語の仮名漢字変換の特性(仮名漢字変換・形態素構文解析)
- 医療論文抄録からのファクト情報抽出を目的とした言語分析
- 語義文からの動詞間の上位-下位関係の抽出
- 語義文における動詞間の上位-下位関係
- 語義文からの動詞の上位-下位関係の抽出
- 語義文における動詞間の上位-下位関係
- 確率文節文法とその応用
- ブラケット文法--句構造言語を特性化する文脈自由文法
- 一括処理法による手書き漢字の認識実験
- 手書き漢字の識別実験
- 語義文の機能表現について
- 国語辞典に基づくシソーラスの構築に関する一考察
- 名詞句「NのN」の解析におけるシソーラス知識の利用
- シソーラスと確率文法による派生語解析
- 用例に基づく派生語の確率的解析
- 用例に基づく派生語の確率的解析
- 翻訳文法のための構文解析手法
- 翻訳文法を用いた機械翻訳
- 翻訳文法による機械翻訳とその実装
- 構造化テンプレートを用いた新聞記事からの製品情報抽出
- テンプレートを用いた新聞記事からの製品情報抽出システム
- テンプレートを用いた新聞記事からの製品情報抽出システム
- 共起データに基づく名詞の多次元空間への配置
- 共起データに基づく名詞の多次元空間への配置
- 共起データに基づく名詞のn次元空間への配置
- 係り受け情報を用いた名詞句「NP_1のNP_2」の意味関係の候補の抽出
- 不完全データに対する判別分析と語の共起性推定への応用
- 不完全データに対する判別分析と語の共起性推定への応用
- 共起制約を組み込んだ確率文法による名詞句の統語的曖昧さの解消
- 意味範疇の散らばりに基づいた名詞の統語範疇の分類
- 係り受け文脈自由文法とその日本語への適用
- 係り受け制約を組み込んだPCFGの評価
- 限定頻度を考慮した確率文脈自由文法
- 係リ受け制約の文脈自由文法への組み込み法
- 係り受け制約を含む文脈自由文法
- 係り受け制約を含む文脈自由文法
- 記号表現ベクトル学習機能を有するニューラルネットの英語前置詞句係り先決定問題における実験的評価
- 要約文の話題の流れの最大化による自動要約
- 汎化用例とシソーラスを用いた派生語の仮名漢字変換の特性
- 話題の流れを保持する自動要約(生成・要約)
- 言語コーパスからの語の共起性の推定(自然言語)
- 言語コーパスからの語の共起性の推定
- 汎化された係り受け文脈自由文法の構文解析法
- スパースな学習データにおける確率係り受け文脈自由文法の確率パラメータの推定法
- 確率文節文法による形態素解析実験について
- 単語の造語モデルを用いた単語の生起確率の推定
- 文章構造と意味ネットワークを用いた句抽出による文章要約(検索,要約)
- 文章構造と意味ネットワークを用いた句抽出による文章要約(検索,要約)
- 手書き文字認識におけるベクトルプロセッサの使用について
- 法的事象の論理表現からの法律文生成
- E-023 口裂周辺の筋電信号を用いた少数語彙世界における黙声単語認識(E分野:自然言語・音声・音楽)
- Q&Aの自動回答支援システム(翻訳,対話)
- 自然言語インターフェースのための無発声音声認識への活用を目的とした表面筋電波形の分析
- 自然言語インターフェースのための無発声音声認識への活用を目的とした表面筋電波形の分析
- 係り受け解析実験による動詞と格標識との多項関係共起知識の評価
- 複数製品の紹介記事からの製品情報抽出
- 多項関係としての格標識共起知識の獲得
- 多項関係としての格標識共起知識の獲得
- 複数製品の紹介記事からの製品情報抽出 : 製品記述パターンの分析
- 要件効果構造に基づく制限言語モデルを用いた法律文解析 : 並列構造の推定方法について
- 単一項目テンプレートによる新聞記事からの製品情報抽出
- 要件効果構造に基づく法律文統語構造解析
- 要件効果構造に基づく法律文制限言語モデルと法律文解析
- 未登録語を含むべた書き日本語文の形態素解析への単語の造語モデルの利用
- 日本語における単語の造語モデルとその評価
- 未登録語の単語らしさの評価論を計算する単語の造語モデル
- Prefix-Closed B-tree
- 名詞句「NPのNP」の意味構造
- 最左部分語検索向き辞書データ : Prefix-Closed B-tree
- 統計的手法を用いた名詞句「NPのNP」の意味関係の抽出法
- 名詞句「NPのNP」の意味構造推定のための名詞の統語範疇の獲得
- 係り受け文脈自由文法の強化法
- スパースな学習データにおけるPCFGの確率パラメタの推定法
- スパースな学習データにおけるPCFGの確率パラメタの推定法
- スパースな学習データにおける確率係り受け文脈自由文法のパラメタ推定法
- k-NN推定法に基づく統語的あいまいさの解消法
- 複合化確率文脈自由文法の提案
- k-NN推定法に基づく統語的曖昧さの解消法
- 常識推論における推論の選択と文脈処理への応用
- 名詞句「NPのNP」の意味構造について
- 日本語単語辞書データ構造Prefix-Closed B-tree : 挿入・削除・編集アルゴリズムとその能率
- 名詞シソーラスを用いた派生語の処理
- PCFGによる派生語処理手法の比較と検討
- 複合名詞の仮名漢字変換のための解析アルゴリズム
- シソーラスを利用した複合語の仮名漢字変換のための確率複合語文法
- 意味的結束性に基づく文脈処理
- 常識推論における推論の選択
- 日本語における動詞の造語モデルの作成
- 造語モデルにおける状態遷移確率推定法について
- 造語モデルに基づく単語表記の扱い
- 確率文法におけるパラメタの一致推定
- 語彙機能文法の横型構文解析 : 否定演算を含む属性構造記述
- 文脈自由文法の並列構文解析法
- 確率文法
- 否定的制約を含むLFGの構文解析法
- Earleyアルゴリズムの並列化手法
- 確率文脈自由文法におけるパラメタの最尤推定法
- 最左部分語検索向き辞書データ構造Prefix-Closed B-treeとその検索アルゴリズム
- 自然言語理解の基礎 : 形態論 (自然言語理解)
- 言語理論のめざすもの (自然言語処理への挑戦)