シソーラスと確率文法による派生語解析
スポンサーリンク
概要
- 論文の詳細を見る
派生語は語幹を成す名詞と接尾語から作られる.接尾語には同音語が多く存在し,派生語の解析時に多くの解候補が得られる.また,派生語はあまりに膨大で,その全てを収集し辞書に登録することは困難である.そのため派生語は仮名漢字変換の失敗の原因として大きな割合を占めていた.我々は用例に基づく手法と確率文法による統計的な手法を組み合わせることで,この問題に対処することを試みた.この方法では,大規模コーパスから収集した大量の派生語用例を直接,生成規則の形で記述する.更に単語間の上位下位関係を記述したシソーラスも同様に,各ノードを構文的カテゴリーとして取り扱うことにより,生成規則として記述される.生成規則の適用確率は用例から統計的に学習される.用例としては機械可読辞書と新聞記事コーパスから抽出したものを用いている.用例の頻度にはシソーラス中の用例の分布に従った重み付けを行った.確率文法の学習には,それらの用例に加え,語幹を上位語で置換した用例も使用し,文法の生成能力を拡張した.このことによって,解析候補に対して用例との類似性や頻度を反映した優先付けを行うことができ,未登録語の9割以上を上位10位以内の解候補として受理することができるようになった.最後に,大量データに対する仮名漢字変換実験を行い,用例の一般化によって正解率が大幅に向上することを確認した.
- 一般社団法人情報処理学会の論文
- 1995-04-15
著者
-
市丸 夏樹
九州大学システム情報科学研究院
-
中村 貞吾
九州工業大学情報工学部
-
日高 達
九州大学名誉教授
-
日高 達
九州大学工学部電子工学科
-
宮本 義昭
日本ユニシス
-
市丸 夏樹
九州大学大学院総合理工学研究科情報
-
中村 貞吾
九州工業大学大学院
-
中村 貞吾
九州工業大学
-
市丸 夏樹
九州大学大学院システム情報科学研究院知能システム学部門
-
日高 達
九州大学工学部
関連論文
- 囲碁の攻合いの数理的解析 : 組合せゲーム理論に基づく手数の評価法(解析,ゲームプログラミング)
- シソーラスを用いた派生語の仮名漢字変換の特性(仮名漢字変換・形態素構文解析)
- 医療論文抄録からのファクト情報抽出を目的とした言語分析
- 語義文からの動詞間の上位-下位関係の抽出
- 語義文における動詞間の上位-下位関係
- 語義文からの動詞の上位-下位関係の抽出
- 語義文における動詞間の上位-下位関係
- 確率文節文法とその応用
- ブラケット文法--句構造言語を特性化する文脈自由文法
- 一括処理法による手書き漢字の認識実験
- 手書き漢字の識別実験
- 語義文の機能表現について
- 国語辞典に基づくシソーラスの構築に関する一考察
- 名詞句「NのN」の解析におけるシソーラス知識の利用
- シソーラスと確率文法による派生語解析
- 用例に基づく派生語の確率的解析
- 用例に基づく派生語の確率的解析
- 翻訳文法のための構文解析手法
- 翻訳文法を用いた機械翻訳
- 翻訳文法による機械翻訳とその実装
- 構造化テンプレートを用いた新聞記事からの製品情報抽出
- テンプレートを用いた新聞記事からの製品情報抽出システム
- テンプレートを用いた新聞記事からの製品情報抽出システム
- 共起データに基づく名詞の多次元空間への配置
- 共起データに基づく名詞の多次元空間への配置
- 共起データに基づく名詞のn次元空間への配置
- 係り受け情報を用いた名詞句「NP_1のNP_2」の意味関係の候補の抽出
- 不完全データに対する判別分析と語の共起性推定への応用
- 不完全データに対する判別分析と語の共起性推定への応用
- 共起制約を組み込んだ確率文法による名詞句の統語的曖昧さの解消
- 意味範疇の散らばりに基づいた名詞の統語範疇の分類
- 係り受け文脈自由文法とその日本語への適用
- 係り受け制約を組み込んだPCFGの評価
- 限定頻度を考慮した確率文脈自由文法
- 係リ受け制約の文脈自由文法への組み込み法
- 係り受け制約を含む文脈自由文法
- 係り受け制約を含む文脈自由文法
- 記号表現ベクトル学習機能を有するニューラルネットの英語前置詞句係り先決定問題における実験的評価
- 要約文の話題の流れの最大化による自動要約
- 汎化用例とシソーラスを用いた派生語の仮名漢字変換の特性
- 話題の流れを保持する自動要約(生成・要約)
- 言語コーパスからの語の共起性の推定(自然言語)
- 言語コーパスからの語の共起性の推定
- 汎化された係り受け文脈自由文法の構文解析法
- スパースな学習データにおける確率係り受け文脈自由文法の確率パラメータの推定法
- 確率文節文法による形態素解析実験について
- 単語の造語モデルを用いた単語の生起確率の推定
- 情報ハイウェイ時代のテキスト情報への知的アクセス ( 情報処理最前線)
- 文章構造と意味ネットワークを用いた句抽出による文章要約(検索,要約)
- 文章構造と意味ネットワークを用いた句抽出による文章要約(検索,要約)
- 手書き文字認識におけるベクトルプロセッサの使用について
- 法的事象の論理表現からの法律文生成
- 接続助詞の結合順位に基づく複文の構文解析(構文,係り受け解析)
- 接続助詞の結合順位に基づく複文の構文解析(構文, 係り受け解析)(言語理解とコミュニケーション)
- 接続助詞の結合順位に基づく複文の構文解析
- コンピュータ囲碁(思考ゲーム)
- E-023 口裂周辺の筋電信号を用いた少数語彙世界における黙声単語認識(E分野:自然言語・音声・音楽)
- Q&Aの自動回答支援システム(翻訳,対話)
- 自然言語インターフェースのための無発声音声認識への活用を目的とした表面筋電波形の分析
- 自然言語インターフェースのための無発声音声認識への活用を目的とした表面筋電波形の分析
- 係り受け解析実験による動詞と格標識との多項関係共起知識の評価
- 複数製品の紹介記事からの製品情報抽出
- 多項関係としての格標識共起知識の獲得
- 多項関係としての格標識共起知識の獲得
- 複数製品の紹介記事からの製品情報抽出 : 製品記述パターンの分析
- 要件効果構造に基づく制限言語モデルを用いた法律文解析 : 並列構造の推定方法について
- 単一項目テンプレートによる新聞記事からの製品情報抽出
- 要件効果構造に基づく法律文統語構造解析
- 要件効果構造に基づく法律文制限言語モデルと法律文解析
- 辞書からの単語の主辞構造パターンの抽出
- 法律文における並列構造の特徴とそれに基づく制限言語モデルについて
- 法律文記述上の制約に基づいた計算機処理のための制限言語モデルについて
- 省略を用いた簡潔な処理による対話文生成法について
- 対話における焦点情報とそれに基づく応答文生成について
- 自然言語記述仕様書からのアルゴリズム抽出
- 動詞の機能に基づく法律文の制限言語モデル
- 動詞の機能に基づく法律文の制限言語モデル
- 囲碁(ゲーム情報学研究の事例)(ゲーム情報学)
- E-053 口裂周辺の筋電信号を用いた黙声日本語単母音認識のための認識パラメータ獲得手法(自然言語・音声・音楽,一般論文)
- Small World構造を用いた関連記事集合中の重要記事の判定(文書分類・要約)
- コールセンターDB構築・検索と質問回答作成支援システム(情報抽出・質問応答)
- 囲碁の観戦記からの知識獲得
- Jonathan Schaeffer and Jaap van den Herik, Chips Challenging Champions-Games, Computers and Artificial Intelligence-, Elsevier(2002), ISBN:0-444-50949-6
- 組合せゲーム理論を用いた囲碁の攻合いの解析
- 着手記号列の出現頻度に基づく囲碁棋譜からの定型手順獲得(ゲームプログラミング)
- 囲碁棋譜からの順序パタンとその共起知識の獲得
- 未登録語を含むべた書き日本語文の形態素解析への単語の造語モデルの利用
- 日本語における単語の造語モデルとその評価
- 未登録語の単語らしさの評価論を計算する単語の造語モデル
- Prefix-Closed B-tree
- 名詞句「NPのNP」の意味構造
- 最左部分語検索向き辞書データ : Prefix-Closed B-tree
- 常識推論における推論の選択と文脈処理への応用
- 名詞シソーラスを用いた派生語の処理
- PCFGによる派生語処理手法の比較と検討
- Stolcke, A. : An Efficient Probabilistic Context-Free Parsing Algorithm that Computes Prefix Probabilities, Computational Linguistics, Vol.21, No.2, pp.165-201 (1995)
- 複合名詞の仮名漢字変換のための解析アルゴリズム
- シソーラスを利用した複合語の仮名漢字変換のための確率複合語文法
- 意味的結束性に基づく文脈処理
- 常識推論における推論の選択