双方向並行構文解析と熟語処理への応用
スポンサーリンク
概要
- 論文の詳細を見る
自然言語の構文解析において、どのような冨語においても熟語の処理は重要な位置を占めている。熟語処理の方法には駿々な立場がある。熟語を文法規則として雷くというのも一つの方法である。だが、その湯合文法の数が膨大なものになる。すると解析の途中結果も膨大な丘となり、いたずらに溝文解析の効率の低下を招くだけで、現実的な方法ではない。一方、熟語に関する晴報を辞書の中の単語項目に記述し、その単語が文中に現れた時のみその熟語墳報を解析に用いる方法がある。我々は後者の考え方を並行購文解析システムSAX上に実現した。このアプローチによると文中に現れる単語を含む熟語のみが考慮されるので、熟語処理のプロセスを通常の購文解析プロセスに組み込んでも効率の低下は必要最小限に抑えられる。SAXは左から右への一方向の購文解析プログラムを生成するが、熟語中のどの鎮語で熟語プロセスを起動するかによっては逆方向への購文解析の必要も生じる。(例えば、熟語"fallin love with"において"love"の辞書記述に熟語情報がある場合、この熟語を解析するプロセスは"love"で起動され左方向へ"fall"と"in"を探しに行くことになる。)そこで、双方向構文解析への拡張が必要となるのそある。SAXではDCGで記述された文法をPrologのポトムアッブ構文解析プログラムに変換する。解析の方法はチャートパージング[Kay80]と同等な処理である。DCGの終端記号(単語に相当)および非終端記号は基本的にそれと同じ名前を持つPrologの述語に変換される。個食の述語はプログラム中では並行に動作するプFセスとして動作する。それぞれのプロセスは隣の述語プロセスが出力した解析結果を受けとり、次の述語プロセスに解析結果を渡すことで解析が進んでいく。SAXの解析法は解析の中間結果にその時点でのあらゆる可能性が含まれている模型探索なので、バックトラックをする必要がない。よってPrologのような逐次処理系でも高速な購文解析が可能である。
- 1991-02-25
著者
関連論文
- テキスト情報分析のための判断情報アノテーション(自然言語処理,意味解析,情報爆発論文)
- 現場発想による自然言語処理ブレークスルーの探求(平成21年度論文賞の受賞論文紹介)
- 画像の内容を説明するテキストを利用した画像解析
- 統計的学習モデルによる分かち書き解析器の自動点訳での有効性の解析
- TVニュースと新聞記事の対応づけ
- 辞書の語彙構成と点訳精度の関係の解析(点字,福祉情報工学一般,地域におけるITサポート(シンポジウムテーマ))
- 私のとってのこれからの認知科学
- 新塾長に期待する
- 名詞句「AのB」「AB」の用例を利用した換喩解析
- 情報技術の新時代に向けて (情報技術の新時代に向けて)
- 科学的説明の確実性について
- 挨拶(大学授業をどう変えるか : 研究から実践へ Faculty Development を超えて)(第 5 回大学教育改革フォーラム)
- 確率的モデルによる仮名漢字変換
- 2. 先端技術を生み出す独創性 : 2-1 独創性とは(900号記念特集)
- インタラクティブ・エッセイ : 再コメント
- 電子図書館の正しい概念を持とう (インタラクティブ・エッセイ)
- 構文情報を利用した電子ニュース記事のクラスタリングシステムの作成と評価
- 21世紀情報社会へ向って
- 3)航空写真の画像解析とそのシステム(画像技術応用研究会(第42回))
- 15)文字パターンのスムーズな拡大の一方法(テレビジョン電子装置研究会(第67回) 画像表示研究会(第23回) 同合)
- 競合事物間における比較関係認識
- 競合事物間における比較関係認識
- 双方向並行構文解析と熟語処理への応用
- パネル討論会 : 知識工学とその応用 : 昭和57年前期第24回全国大会報告
- 意味ネットワークからの文章生成
- 係り受け木を利用した単語類似度計算方法とそのシソーラス拡張への応用
- 文間の弱い対立関係の認識
- 形態素・係り受け解析済みコーパス管理・検索ツール「茶器」
- Webフィルタリング処理時における表記ゆれの動的解決
- Webフィルタリング処理時における表記ゆれの動的解決
- ハブを作らないグラフ構築法を用いた半教師あり語義曖昧性解消
- 確率的モデルによる仮名漢字変換
- 確率的モデルによる仮名漢字変換
- Markov Logicによる日本語述語項構造解析
- オンライン最大マージン学習アルゴリズムに基づく多言語依存構造--述語項構造解析 (言語理解とコミュニケーション)
- 日本語文章の事象に対する判断情報アノテーション
- 文間関係認識のための局所構造アライメント
- 文間関係認識のための局所構造アライメント
- 文間関係認識のための局所構造アライメント
- 共起パターンの学習による事態間関係知識の獲得
- 半教師あり語義曖昧性解消のためのグラフスパース化
- 半教師あり語義曖昧性解消のためのグラフスパース化
- 言語理解・意味理解の先駆者田中穂積先生の想い出(11)
- 機械翻訳システム開発における諸問題
- 新春対談 彫刻家、東京藝術大学名誉教授・顧問 澄川喜一氏 国立国会図書館長 長尾真 日本の文化力再発見
- 電子出版と国立国会図書館
- 「AIマップ-自然言語へのアプローチ」に対するコメントと回答
- 対訳文章を利用した専門用語対訳辞書の自動作成 : 訳語対応における両立不可能性を考慮した手法について
- 大規模知識ベースの構築と利用
- 談話管理理論を用いた対話処理 : 名詞句の解析と生成について
- 認知的制約プログラミングと統合的自然言語処理 : 統語解析と統語生成の統合について (自然言語処理における統合)
- Susan W. McRoy : Using Multiple Knowledge Sources for Word Sense Discrimination, Computational Linguistics, Vol.18, No.1, pp.1-30 (1992).
- 不完全指定順序機械の非両立状態対の割合について (情報科学の数学的基礎理論と応用)
- 不完全指定順序機械の状態集合の被覆および分割の下での最小化の比較
- 衛星データによる高度算出における異常高度点対応策の研究
- 系列ラベリングの多層化(IBIS2010(情報論的学習理論ワークショップ))
- 特別対談 新たな文化創造とクラウド化を展望する (特集 クラウド時代における電子ブックと流通問題)
- パネル討論会 : 日本文入力法の将来像 (日本文入力法)
- 1X-8 日本語文章における直接照応および間接照応の統合的解析(意味・談話解析,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- TVニュースと新聞記事の対応づけ
- TVニュースと新聞記事の対応づけ
- 言語処理技術の現状と将来 (第4回社会と情報に関するシンポジウム)
- ALGOL language の最近の動向
- 「知財の編集・流通・管理のためのメディアアーキテクチャを目指して」へのコメントと回答(AIマップ)
- 情報学の明日を考える (特集 情報学の第4ステージ)
- TVニュースで用いられるテロップの意味解析
- 漢字対応の利用による日中対訳テキストの文対応付け
- 類似性に基づいた日韓対訳テキストの文対応
- 用例検索による韓日・日韓翻訳支援システム
- 日英対訳文間の構造照合
- 述語項構造と照応関係のアノテーション : NAISTテキストコーパス構築の経験から
- 名詞句の語彙統語パターンを用いた事態性名詞の項構造解析
- 項の共有関係と統語パターンを用いた事態間関係獲得
- 情報学の新時代
- 国立国会図書館の現状と将来[含 質疑応答] (特集 日本図書館研究会第52回(2010年度)研究大会) -- (シンポジウム 次代を切りひらく図書館の挑戦)
- 文脈情報と格構造の類似度を用いた日本語文間述語項構造解析
- 文脈情報と格構造の類似度を用いた日本語文間述語項構造解析
- 機械学習による近代文語文への濁点の自動付与
- 機械学習による近代文語文への濁点の自動付与
- "デジタルアーカイブ時代の図書館の在り方"を長尾国立国会図書館長に聞く 「電子出版物流通センター構想」試論
- 特別鼎談 セラーテム社の新画像フォーマット 京都発、デジタルアーカイブ技術のデファクトスタンダード「VFZ」
- 日本語教育のための誤り訂正ローマ字かな変換
- 文間関係認識に基づく賛成・反対意見の俯瞰
- 並列構文解析における関係節等の痕跡を含む文の処理
- コメント 「大学における情報教育の観点から」
- 電子図書館の建設に向けて
- この話題 来日中のムーアITU-T SG13議長・長尾京都大学総長対談
- コーパスへの自動アノテーションツールとアノテーション支援環境の構築(日本語コーパス)
- 特集「日本語コーパス」にあたって
- 「ハブの出現しやすさ」から見たラプラシアンベースカーネル(ポスターセッション,第14回情報論的学習理論ワークショップ)
- 英語の複単語表現辞書の構築と品詞タグ付けへの応用
- 英語の複単語表現辞書の構築と品詞タグ付けへの応用
- 大規模英語学習者コーパスを用いた英作文の文法誤り訂正の課題分析
- 大規模英語学習者コーパスを用いた英作文の文法誤り訂正の課題分析
- 統計的文法獲得モデルのための部分木ブロック化サンプリング法
- 統計的機械学習を用いた歴史的資料への濁点付与の自動化
- 依存構造解析における従属接続詞認識の効果
- 統計的文法獲得モデルのための擬似部分木ブロック化サンプリング法
- 英語スペリング訂正と品詞タグ付けの結合学習
- Split Head Automataによる依存構造解析