統計情報とコスト最小法に基づいた形態素解析
スポンサーリンク
概要
- 論文の詳細を見る
近年、新聞記事データを中心として様々な電子化コーパスが利用可能となり、統計的な手法による自然言語処理の研究が盛んである。形態素解析においても、N-gram や d-bigramなどの統計データを用いた解析方式が提案されている。これらの統計的手法のうち、正規化頻度を用いる手法では、単語辞書を用いずに、ある程度の形態素区切りを獲得できることが報告されている。本稿では、正規化頻度が字面のみから得られる情報である点に着目し、従来の辞書と接続表を利用したコスト最小法におけるコストとして正規化頻度を導入することにより、既知語と未知語のコストを統一的に扱うことのできる形態素解析手法を提案する。
- 一般社団法人情報処理学会の論文
- 1997-03-12
著者
-
相川 勇之
三菱電機株式会社情報技術総合研究所
-
鈴木 克志
三菱電機株式会社情報技術総合研究所
-
鈴木 克志
三菱電機株式会社 情報技術総合研究所
-
細田 春美
三菱電機(株) 情報技術総合研究所
-
細田 春美
三菱電機株式会社 情報技術総合研究所
関連論文
- ダブル配列を用いた文書検索用キーワード提示の高速化(セッション3:キーワード付与)
- 技術文書標題からのキーワード抽出
- 概念抽出型テキストマイニングによるアンケート分析手法の提案
- D-5-2 CRM 向けテキストマイニング方式の提案
- eCRM向け概念抽出型テキストマイニング
- D-37 大規模検索システムにおける概念辞書自動更新(辞書・シソーラス,D.データベース)
- 言語事例推論を用いたネットワーク障害対応ガイダンス
- 1N-1 ヘルプデスク支援システムにおける用語獲得
- 2U-1 ヘルプデスク支援システムにおける言語事例データの類似検索
- コーパスからの同義語の獲得(1) : 近傍単語頻度統計によるアプローチ
- ダブル配列を用いた文書検索用キーワード提示の高速化(セッション3:キーワード付与)
- eCRM向け概念抽出型テキストマイニング
- 言語事例推論を用いたネットワーク障害対応ガイダンス
- ヘルプデスク支援システムにおける問題解決機能
- 1P-4 ヘルプデスク支援システムにおける言語事例検索 : 全体構成
- 1P-3 ヘルプデスク支援システムにおける言語事例検索 : 類似文照合
- 4M-2 ヘルプデスク事例活用のための言語分析方式
- 確率伝播法を用いた文書検索用キーワードの自動抽出(単語・語彙(I))
- D-5-6 文書の論理構造を用いたブートストラップ手法による重要語句の抽出(D-5. 言語理解とコミュニケーション,一般セッション)
- D-5-7 設計文書における同義語辞書自動作成方式 : 表記ゆれ抽出の検討(D-5.言語理解とコミュニケーション,一般講演)
- D-13-8 適合性フィードバックに基づいた文書チェックルール作成支援方式(D-13.知能ソフトウェア工学,一般講演)
- D-5-13 多次元絞込み検索機能によるテキストマイニング(D-5.言語理解とコミュニケーション,一般講演)
- D-5-6 意味構造抽出のための係り受け解析に関する考察(D-5.言語理解とコミュニケーション,一般講演)
- D-5-8 単語の連想関係に基づく概念検索方式の評価(D-5. 言語理解とコミュニケーション, 情報・システム1)
- 木・表構造間写像モデルに基づくXML入力画面自動生成方式(コンテンツ処理)
- 段落内共起情報を利用した文書自動分類方式
- 企業間文書情報共有におけるSGML文書内容検証方式
- 全文検索システムにおける文字成分表の作成手法
- 全文検索における例文検索
- 「韻」に基づく並列句の解析
- 実用性の向上を目指した機械翻訳システムの改良(2)
- 日英機械翻訳システムMELTRAN-J/Eにおける空間的機能名詞の処理
- 日英機械翻訳システムにおける長文の解析
- D-5-4 検索用キーワード提示による文書検索の操作性向上(D-5. 言語理解とコミュニケーション,一般セッション)
- E-35 XML入力画面自動生成方式(自然言語処理応用,E.自然言語・文書)
- 電子申請におけるXML文書内容検証方式
- 次世代WebビジョンSemantic Webの技術動向
- 電子申請におけるXML文書内容検証方式 : 複数XML文書の内容間制約を記述する文書規約記述言語DRDL
- XML文書ワークフロー構築支援方式 : インターネットを用いた設計支援システムにおけるXML文書設計支援方式
- D-9-12 XML文書ワークフロー構築支援方式
- XMLによる電子申請書のメタ情報の表現について
- XMLスタイルシート作成ツールとワークフローへの応用
- 5P-1 SGML文書のWWW入力・表示プログラム作成ツール
- XML文書のスタイルシート生成方式
- 4V-8 SGML文書の表組みレイアウト作成支援方式
- 社内文書のSGMLによる標準化とイントラネットによる活用
- リンク情報を利用したインターネット情報検索方式の検討
- B-6-42 ファクシミリ信号のIP伝送に関する一検討(B-6.ネットワークシステム,一般講演)
- B-6-9 VoIP音声多重伝送システムにおける冗長伝送に関する一検討(B-6.ネットワークシステム,一般講演)
- B-6-61 VoIP音声多重伝送システムの開発(2) : パケット多重方式(B-6.ネットワークシステム,一般講演)
- B-6-60 VoIP音声多重伝送システムの開発(1) : システム構成と多重制御(B-6.ネットワークシステム,一般講演)
- D-5-7 情報検索のタスク評価手法に関する一考察(D-5. 言語理解とコミュニケーション)
- インターネット情報監視システムの試作
- 既存紙文書からSGML文書への変換システムの試作
- 4N-4 アンケート自由記述のテキストマイニングに関する検討
- 共起情報を利用した新聞記事の自動分類結果の分析・評価
- 共起情報を利用した文書の自動分類
- 共起情報を利用した文書の自動分類について
- D-5-1 インタネット全文検索と関連文書検索を用いたポータル構築支援
- ネットワーク上の文書テキスト検索・利用技術 (特集 IT時代のヒューマンインタフェース技術)
- 統計情報とコスト最小法に基づいた形態素解析
- タグ無しコーパスからの複合語データの自動抽出
- 自然言語事例ベースの仕様書文解析への応用
- E-16 単語共起照合に基づくクレーム抽出方式の改良(情報抽出,E.自然言語・文書)
- 製品情報広域検索システムにおけるデータベース自動構築方式
- 製品情報広域検索システムにおける検索方式
- D-9-34 単語間の連接情報を用いた階層入力方式(D-9.ライフインテリジェンスとオフィス情報システム,一般セッション)