口語的表現を含む日本語文の形態素解析の実現と評価
スポンサーリンク
概要
- 論文の詳細を見る
日本語文章の口語的表現に対応した形態素解析手法を提案し,その評価結果を報告する.広い分野のテキスト処理を想定した場合に口語的表現の形態素解析は重要であるものの,その精度は十分とは言えなかった.本稿では,口語的表現を正しく形態素解析するために2つの手法を示す.1つは,口語特有の言い回しを辞書登録すること,もう1つは,通常は平仮名表記する語を意図的に片仮名表記するなど,表記を変えた強調表現を通常の表記に直して辞書検索することである(口語置換検索処理).これらの手法を実現した結果,口語的表現を多く含むテキストの文節区切り精度が1.8%向上し,テキストのタイプによらず安定した高い精度を得ることができた.辞書登録では,話し言葉特有の語の登録によって,文節区切りに失敗していた話し言葉の88%を正しく解析できた.口語置換検索処理では,形態素解析に失敗していた意図的な片仮名表記の75%,強調表現で特殊文字を含む単語の79%を救済できた.
- 一般社団法人情報処理学会の論文
- 1994-09-15
著者
-
福島 俊一
NEC情報メディア研究所
-
竹元 義美
日本電気(株)情報メディア研究所
-
福島 俊一
日本電気(株)情報メディア研究所
-
竹元 義美
日本電気特許技術情報センター情報サービス事業部インフォメーションサービス部
関連論文
- 日本語新聞記事からの固有名詞情報抽出
- ペン校正支援システム
- ボトムアップ/トップダウン処理を融合した手書き文字列読み取り知識処理
- 手書き文字列読み取りのための単語連鎖制約に基づく効率的探索と棄却
- 効率的探索とトップダウン的検証を組み合わせた手書き住所読み取り知識処理
- A-4 テキストからの類義語抽出手法とその評価(概念と言語(I))
- 手書き文字列読み取りのための単語列探索アルゴリズム : 文字タグ法
- 手書き住所読取りにおけるパタン処理と連携した住所知識処理方式
- 共起類似性に基づく同義語の抽出
- 口語的表現を含む日本語文の形態素解析の実現と評価
- 口語的表現を含む日本語文の形態素解析の実現と評価
- 口語的表現を含む日本語文の形態素解析
- 日本語文書校正支援システムSt.WORDS
- インターネットからの評判情報検索(WWW上の情報の知的アクセスのためのテキスト処理)
- 辞書およびパターンマッチルールの増強と品質強化に基づく日本語固有表現抽出
- 1N-3 日本語テキストからの固有表現抽出システムの開発と評価
- インターネット多角的検索システムOTROS : データベースを用いたクエリ展開方式の提案
- インターネット多角的検索システムOTROS : 全体の概要と構成
- 固有名詞分類属性を利用した情報検索
- 予測ペン入力インタフェースとその手書き操作削減効果
- ペンベース文書作成(2) : 予測ペン入力方式
- ペンベース文書作成(1) : 試作システム
- 自然言語処理を用いたペン入力効率向上手法の提案
- WWW情報検索技術と評価の問題(情報検索システムの力くらべ : テストコレクションによる評価)
- 形態素抽出ハードウェアアルゴリズムとその実現
- 検索エンジンの仕組みと技術の発展(インターネット検索エンジン)
- 高速全文検索のためのフレキシブル文字列インバージョン法(1) 方式概要
- 高速全文検索のためのフレキシブル文字列インバージョン法(1)方式概要
- 文書作成履歴を利用した校正支援機能
- FEP型校正支援システムの試作