Webと携帯端末向けの新聞記事の対応コーパスからの文末言い換え抽出

概要

論文の詳細を見る
本研究では，数十文字程度の長さで携帯端末向けに配信されている新聞記事と数百文字程度の長さのWeb 新聞記事の両者を約3 年に渡って収集した．こうして収集したコーパスから文末表現の縮約などの言い換え表現の抽出を機械的に行った．まず，Web から収集した携帯向け新聞記事とWeb 新聞記事からなるコーパスに対して記事単位の対応付けを行い，次に文単位の対応付けを行った．次に携帯向け記事文の文末の表現を形態素解析を用いて抽出し，その文に対応するWeb 新聞記事の文を集める．そしてWeb 新聞記事の文の文末から形態素ごとに言い換え先表現を抽出し，それに対して頻度等を用いた得点付け，および必要な名詞を欠落させてしまう不適切な言い換えの除去を行うことにより言い換え表現の抽出精度向上を図った．We have collected both Web news-paper articles of several hundreds of characters, for three years and their counter parts distributed for mobile terminals, which consist of fifty to a hundred characters. Then, we extracted a number of candidates of paraphrases of the final part of sentences from them automatically. At first we have aligned these two types of corpus first at article level, then at sentence level. Next, we extract the final part of mobile article sentences using morphological analyzer, and collect their counterpart expressions of Web article sentences. Finally, we extracted the candidates of morpheme sequence from the final part of Web article sentence, then we propose the combination of two methods for them in order to improve the extraction accuracy of the sets: 1) ranking based on frequency, branching factor and length of string, and 2) filtering to remove inappropriate expressions which eliminate semantically indispensable nouns.
言語処理学会,The Association for Natural Language Processing,東京電機大学工学部,東京大学情報基盤センター,School of Engineering, Tokyo Denki University,Information Technology Center,The University of Tokyoの論文

Webと携帯端末向けの新聞記事の対応コーパスからの文末言い換え抽出

スポンサーリンク

概要

著者

関連論文

スポンサーリンク