統計的手法に基づくWebページからのヘッドライン生成

概要

論文の詳細を見る
現状の検索エンジンが出力する文書リストの概要文はWebページの先頭数十文字などであるため内容が把握できず、必要な情報に効率よくアクセスできない。これを解決するためには、概要文の代わりにWebページの内容を簡潔に表したヘッドラインを提示すればよい。そこで本研究は、Webページからその内容を簡潔に表したヘッドラインを自動生成することを目的とする。ヘッドラインは「(1)内容網羅性」、「(2)可読性」、「(3)高圧縮性」の3条件を満たす必要があるが、従来のテキスト要約技術ではこれらの3つの条件を同時に満たすことができない。本研究では、2値分類の機械学習手法であるSupport Vector Machine(SVM)を用いて、単語がヘッドラインとして必要か不要かに分類することにより重要語の選択を行い、単語trigramモデルと単語の重要度を組み合わせたNoisy channel modelを用いてヘッドライン生成を行う方法を提案する。Webページを用いた評価実験の結果、提案した重要語選択モデルはTF・IDFモデルより優れていることを検証し、これを用いたヘッドライン生成実験においてTF・IDFモデルに基づくベースライン手法よりテキスト全体の内容をより的確に表せることを検証した。
一般社団法人情報処理学会の論文
2002-05-23

統計的手法に基づくWebページからのヘッドライン生成

スポンサーリンク

概要

著者

関連論文

スポンサーリンク