造語モデルに基づく単語表記の扱い
スポンサーリンク
概要
- 論文の詳細を見る
べた書きされた日本語文の形態素解析においては,一般に単語辞書を用いた単語の切り出しが行われる.しかし,これには多くの曖昧さが存在するため,何らかの方法で解析結果を絞り込むことが望まれる.その方法の一つとして,単語が文中で生起する確率を調べ,より高い確率を持つものを優先するという方法が考えられるが,この確率を精度よく得ることはほとんど不可能である.造語モデルは,日本語において,表意文字である漢字の性質に着目し,造語過程をマルコフモデルとして構成したものであり,これにより単語の生起確率を推定する.しかし,単語の記述に関しては複数の表記法が存在し,そのいずれもが文中に出現する可能性がある.従って,かな表記のみであるとか正書法のみであるとかの特殊な制約が存在しない,一般の文を対象とする場合には,記述上の差異(表記のゆれ)に関する出現率の違いを無視することは不十分と言わざるをえない.すなわち,単なる単語の生起確率ではなく,単語がある表記で出現する確率をもって,解析結果の優先順位付けをすべきであると言える.本論文では,生起確率の表記上の違いについては特に考慮していなかった従来の造語モデルにおいて,それを考慮した扱いを行う方法について述べる.
- 一般社団法人情報処理学会の論文
- 1989-10-16
著者
関連論文
- シソーラスを用いた派生語の仮名漢字変換の特性(仮名漢字変換・形態素構文解析)
- 医療論文抄録からのファクト情報抽出を目的とした言語分析
- 語義文からの動詞間の上位-下位関係の抽出
- 語義文における動詞間の上位-下位関係
- 語義文からの動詞の上位-下位関係の抽出
- 語義文における動詞間の上位-下位関係
- 確率文節文法とその応用
- ブラケット文法--句構造言語を特性化する文脈自由文法
- 一括処理法による手書き漢字の認識実験
- 手書き漢字の識別実験
- 語義文の機能表現について
- 国語辞典に基づくシソーラスの構築に関する一考察
- 名詞句「NのN」の解析におけるシソーラス知識の利用
- シソーラスと確率文法による派生語解析
- 用例に基づく派生語の確率的解析
- 用例に基づく派生語の確率的解析
- 翻訳文法のための構文解析手法
- 翻訳文法を用いた機械翻訳
- 翻訳文法による機械翻訳とその実装
- 構造化テンプレートを用いた新聞記事からの製品情報抽出
- テンプレートを用いた新聞記事からの製品情報抽出システム
- テンプレートを用いた新聞記事からの製品情報抽出システム
- 共起データに基づく名詞の多次元空間への配置
- 共起データに基づく名詞の多次元空間への配置
- 共起データに基づく名詞のn次元空間への配置
- 係り受け情報を用いた名詞句「NP_1のNP_2」の意味関係の候補の抽出
- 不完全データに対する判別分析と語の共起性推定への応用
- 不完全データに対する判別分析と語の共起性推定への応用
- 共起制約を組み込んだ確率文法による名詞句の統語的曖昧さの解消
- 意味範疇の散らばりに基づいた名詞の統語範疇の分類
- 係り受け文脈自由文法とその日本語への適用
- 係り受け制約を組み込んだPCFGの評価
- 限定頻度を考慮した確率文脈自由文法
- 係リ受け制約の文脈自由文法への組み込み法
- 係り受け制約を含む文脈自由文法
- 係り受け制約を含む文脈自由文法
- 記号表現ベクトル学習機能を有するニューラルネットの英語前置詞句係り先決定問題における実験的評価
- 要約文の話題の流れの最大化による自動要約
- 汎化用例とシソーラスを用いた派生語の仮名漢字変換の特性
- 話題の流れを保持する自動要約(生成・要約)
- 言語コーパスからの語の共起性の推定(自然言語)
- 言語コーパスからの語の共起性の推定
- 汎化された係り受け文脈自由文法の構文解析法
- スパースな学習データにおける確率係り受け文脈自由文法の確率パラメータの推定法
- 確率文節文法による形態素解析実験について
- 単語の造語モデルを用いた単語の生起確率の推定
- 文章構造と意味ネットワークを用いた句抽出による文章要約(検索,要約)
- 文章構造と意味ネットワークを用いた句抽出による文章要約(検索,要約)
- 手書き文字認識におけるベクトルプロセッサの使用について
- 法的事象の論理表現からの法律文生成
- E-023 口裂周辺の筋電信号を用いた少数語彙世界における黙声単語認識(E分野:自然言語・音声・音楽)
- Q&Aの自動回答支援システム(翻訳,対話)
- 自然言語インターフェースのための無発声音声認識への活用を目的とした表面筋電波形の分析
- 自然言語インターフェースのための無発声音声認識への活用を目的とした表面筋電波形の分析
- 係り受け解析実験による動詞と格標識との多項関係共起知識の評価
- 複数製品の紹介記事からの製品情報抽出
- 多項関係としての格標識共起知識の獲得
- 多項関係としての格標識共起知識の獲得
- 複数製品の紹介記事からの製品情報抽出 : 製品記述パターンの分析
- 要件効果構造に基づく制限言語モデルを用いた法律文解析 : 並列構造の推定方法について
- 単一項目テンプレートによる新聞記事からの製品情報抽出
- 要件効果構造に基づく法律文統語構造解析
- 未登録語を含むべた書き日本語文の形態素解析への単語の造語モデルの利用
- 日本語における単語の造語モデルとその評価
- 未登録語の単語らしさの評価論を計算する単語の造語モデル
- Prefix-Closed B-tree
- 名詞句「NPのNP」の意味構造
- 最左部分語検索向き辞書データ : Prefix-Closed B-tree
- 統計的手法を用いた名詞句「NPのNP」の意味関係の抽出法
- 名詞句「NPのNP」の意味構造推定のための名詞の統語範疇の獲得
- 係り受け文脈自由文法の強化法
- スパースな学習データにおけるPCFGの確率パラメタの推定法
- スパースな学習データにおけるPCFGの確率パラメタの推定法
- スパースな学習データにおける確率係り受け文脈自由文法のパラメタ推定法
- k-NN推定法に基づく統語的あいまいさの解消法
- 複合化確率文脈自由文法の提案
- k-NN推定法に基づく統語的曖昧さの解消法
- 常識推論における推論の選択と文脈処理への応用
- 名詞句「NPのNP」の意味構造について
- 日本語単語辞書データ構造Prefix-Closed B-tree : 挿入・削除・編集アルゴリズムとその能率
- 名詞シソーラスを用いた派生語の処理
- PCFGによる派生語処理手法の比較と検討
- 複合名詞の仮名漢字変換のための解析アルゴリズム
- シソーラスを利用した複合語の仮名漢字変換のための確率複合語文法
- 意味的結束性に基づく文脈処理
- 常識推論における推論の選択
- 日本語における動詞の造語モデルの作成
- 造語モデルにおける状態遷移確率推定法について
- 造語モデルに基づく単語表記の扱い
- 確率文法におけるパラメタの一致推定
- 語彙機能文法の横型構文解析 : 否定演算を含む属性構造記述
- 論理関数の対称論理関数による最適表現とその応用
- 文脈自由文法の並列構文解析法
- 確率文法
- 否定的制約を含むLFGの構文解析法
- Earleyアルゴリズムの並列化手法
- 確率文脈自由文法におけるパラメタの最尤推定法
- 最左部分語検索向き辞書データ構造Prefix-Closed B-treeとその検索アルゴリズム
- 自然言語理解の基礎 : 形態論 (自然言語理解)
- 言語理論のめざすもの (自然言語処理への挑戦)