くだけた表現を高精度に解析するための正規化ルール自動生成手法
スポンサーリンク
概要
- 論文の詳細を見る
ブログ上の文書には口語的な表現や特有の表記などのくだけた表現が多数含まれるため,一般の形態素解析器を用いても十分な解析精度を得ることはできない.くだけた表現は人手により辞書登録されることが一般的であるが,人的コストの大きさや専門的な知識を必要とすることが課題である.本稿ではくだけた表現を正規な表現に修正することで高精度な形態素解析を実現する手法を提案する.提案手法ではくだけた表現の修正候補文字列をくだけた表現の少ない文書から自動的に検索し,修正ルールを生成する.生成した多数の修正ルールから文脈に適した修正ルールを選択的に適用するために,検索結果における修正候補文字列の出現頻度,修正前後の文字列間における編集距離,修正前後の文の形態素解析結果の比較,を用いて修正ルールをスコアリングする手法を合わせて提案する.提案手法と従来手法の性能比較評価実験を行い,各手法における未知語の出現率や単語区切りの正確さ,修正前後の文の意味変化を定量的に評価した.提案手法では従来手法と同程度の単語区切りの正確さを維持しながら,対象文章の未知語出現数を 36.1% 減少させることに成功した.これは従来手法における未知語減少数の 2.5 倍以上である.
- 2010-09-28
著者
-
滝嶋 康弘
KDDI研究所
-
松本 一則
株式会社KDDI研究所
-
池田 和史
株式会社KDDI研究所
-
滝嶋 康弘
株式会社KDDI研究所
-
松本 一則
KDDI研究所
-
滝嶋 康弘
(株)kdd研究所
-
松本 一則
(株)KDD研究所
-
池田 和史
KDDI研究所
-
柳原 正
KDDI研究所
-
松本 一則
(株)kddi研究所知能メディアグループ
-
滝嶋 康弘
KDDI研
関連論文
- 音質劣化を考慮した音楽自動リミックス手法(セッション2 物理)
- 情報量基準に基づいた単語境界推定方式の提案(言語モデル・ウェブ解析)
- 位置情報メタデータを利用した画像検索手法の実装と評価(テーマ,膨大なデータから学ぶもの)
- 5R-2 歌詞の印象に基づく楽曲検索のための楽曲自動分類に関する検討(音楽検索・解析,学生セッション,人工知能と認知科学)
- 文字解析を特徴としたTV番組関連情報の選択的収集および適応的表示技法とアプリの開発
- 2D-4 自動DJミックス再生における信号伸縮率を用いた楽曲順序決定方法(音声・音楽情報処理,一般セッション,人工知能と認知科学)
- 楽曲の音響的特徴空間視覚化を利用した音楽検索システム(音楽検索)
- 地デジ放送からの字幕主体の携帯電話向け要約コンテンツの自動生成(ITS画像処理,映像メディア及び一般)
- 地デジ放送からの字幕主体の携帯電話向け要約コンテンツの自動生成(新サービス,ITS画像処理,映像メディア及び一般)
- 画像類似度を利用した位置情報付き写真データへのランドマーク情報付与手法(ウェブ情報とデータベースに関して(ポスター講演))
- D-12-25 CGM動画像におけるハイライト画像抽出手法に関する考察(D-12. パターン認識・メディア理解,一般セッション)
- D-14-21 音響的特徴を利用した楽曲間処理による音楽連続再生手法の提案(D-14. 音声,一般セッション)
- Content-based音楽検索におけるビットレート違いを考慮した楽曲特徴量正規化手法(音楽理論・分析)
- Content-based音楽検索におけるビットレート違いを考慮した楽曲特微量正規化手法(音楽理論・分析)
- D-035 次元圧縮を用いたクロスメディアレコメンデーション方式の提案(D分野:データベース)
- D_033 確定的アニーリングEMアルゴリズムを用いたクロスメディアレコメンデーション方式の提案(D分野:データベース)
- H.264のWeighted Predictionを利用した高速フェード編集方式(画像・映像処理)
- MPEGフレーム内予測を利用した局所領域ビデオスクランブル(映像メディア処理,感性情報工学及び一般)
- D-11-18 MPEGフレーム内予測を利用した局所領域ビデオスクランブル(D-11.画像工学A(画像基礎・符号化),一般講演)
- 携帯電話とWebをつなぐ新しい試み(Mobile Web)
- 協調フィルタリングにおける評価値予測アルゴリズムを応用した検索式拡張手法
- 非適合プロファイルを利用した文書フィルタリング手法
- 5H-6 ブログにおける表記の揺れを修正するためのルール自動生成システムの提案(自然言語処理,一般セッション,人工知能と認知科学)
- D-008 トピック判定におけるn-gramの高速組み合わせ手法の検討(データベース,一般論文)
- コンテンツ間距離の標準偏差に基づくWebページ動的分割方式(情報融合)
- 携帯電話網におけるデータ伝送量低減のためのIPマルチキャスト型コンテンツ配信方式について
- 文書構造を利用した類似検索手法の検討
- D-11-31 誤差拡散割符の最適パラメータ設定に関する一検討(D-11.画像工学A(画像基礎・符号化),一般講演)
- Void-and-Cluster 法閾値マトリクスを用いた高速高画質割符生成方式
- Void-and-Cluster法閾値マトリクスを用いた高速高画質割符生成方式(マルチメディアシステムの品質, 一般)
- J-030 VC法を用いた高速高画質電子割符生成法の拡張(J分野:グラフィクス・画像)
- LG-002 MDCT係数操作によるオーディオ電子透かしの音質劣化抑制(G分野:音声・音楽)
- D-11-11 void-and-cluster法を利用した高速電子割符生成方式(D-11. 画像工学A(画像基礎・符号化), 情報・システム2)
- MPEG符号化領域で埋め込み可能な動画像電子透かし方式
- A-15-25 歌詞情報を利用したWeb画像・楽曲連動スライドショー自動生成システムにおける画像切り替え間隔の改善(A-15.ヒューマン情報処理,一般セッション)
- D-4-8 Webページのリンク自動生成方式の評価(D-4.データ工学,一般セッション)
- D-4-7 外形的特徴に基づく違法・有害サイトの検出手法(D-4.データ工学,一般セッション)
- 携帯電話向けにテレビ番組の要約コンテンツを配信するためのオーサリングツールの開発
- D-4-14 被リンクの時間情報に着目したWebページの信頼性判定手法(D-4. データ工学,一般セッション)
- 位置情報メタデータを利用した画像検索手法の実装と評価(テーマ,膨大なデータから学ぶもの)
- くだけた表現を高精度に解析するための正規化ルール自動生成手法
- 歌詞情報を利用したWeb画像・楽曲連動スライドショー自動生成システム
- インターネット上の違法・有害情報検出技術の研究開発(第1回集合知シンポジウム〜言語処理が紡ぎ出す未来〜)
- Void-and-Cluster法閾値マトリクスを用いた高速高画質割符生成方式(マルチメディアシステムの品質, 一般)
- Void-and-Cluster法閾値マトリクスを用いた高速高画質割符生成方式(マルチメディアシステムの品質, 一般)
- 口語文書の解析精度向上のための助詞落ち推定および補完手法の提案
- 個人や家族の嗜好を考慮したTV番組関連情報の収集・提示方法とアプリの開発
- コミック画像におけるコマの角検出に関する一検討
- 画像類似度を利用した位置情報付き写真データヘのランドマーク情報付与手法
- (株)KDDI研究所 知能メディアグループ
- I-061 任意画像からの割符生成のためのダイナミックレンジ決定法(I分野:グラフィクス・画像)
- I-011 デコーダの負荷を軽減させるためのデブロッキングフィルタ機能の代替方式(I分野:グラフィクス・画像)
- D-11-43 高画質割符画像生成のための輝度の誤差分散処理の一検討(D-11.画像工学A(画像基礎・符号化),一般講演)
- J_052 DCT係数を操作するMPEG動画像電子透かし方式における平行移動耐性解析(J分野:グラフィクス・画像)
- 符号化ドメインにおける効率的MP3-AAC間変換方式の一検討(AVM研セッション,超高速モバイル通信時代のマルチメディアアプリケーション及び一般)
- 符号化ドメインにおける効率的MP3-AAC間変換方式の一検討(AVM研セッション,超高速モバイル通信時代のマルチメディアアプリケーション及び一般)
- 誤差拡散法を用いた自然画像埋め込み可能な割符生成方式(画像信号処理及び一般)
- 誤差拡散法を用いた自然画像埋め込み可能な割符生成方式(画像信号処理及び一般)
- 画像性質とバッファ制約を考慮したH.264レート制御方式(画像・映像処理)
- 単語と単語ペアの統合有害度に基づく特徴量生成手法の提案
- 1T-2 ホームビデオへの自動BGM付与のための心理学に基づく音楽分類手法(音楽分析・生成,学生セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 2D-3 自動DJミックス再生を用いた音楽ストリーム再生・配信システム(音声・音楽情報処理,一般セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 4C-1 オンラインディスカッションの効率性定量化手法の提案(ソーシャルWeb,一般セッション,データベースとメディア,情報処理学会創立50周年記念)
- E-035 自動DJミックス再生における楽曲速度変化に伴う聴取者違和感指標に関する検討(自然言語・音声・音楽,一般論文)
- E-034 歌詞特徴を考慮したWeb画像と楽曲同期再生システムの提案(自然言語・音声・音楽,一般論文)
- 地デジ放送からの字幕主体の携帯電話向け要約コンテンツの自動生成(新サービス,ITS画像処理,映像メディア及び一般)
- 5D-4 格要素の抽象化に基づく違法・有害文書検出手法の提案と評価(自然言語処理(2),一般セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 携帯電話網におけるデータ伝送量低減のためのIPマルチキャスト型コンテンツ配信方式について(モバイルと放送の融合時代を迎えて(1セグ放送, モバイル放送, 携帯放送融合サービス, 1セグ対応携帯端末, モバイルコンテンツと放送コンテンツの融合, マルチメディア配信, ディジタル放送受信機, および一般))
- 個人や家族の嗜好を考慮したTV番組関連情報の収集・提示方法とアプリの開発
- 文書間の類似度における単語寄与度を利用した検索式拡張手法
- RI-009 二言語間のタグ変換を用いた画像タグ付与システム(I分野:グラフィクス・画像,査読付き論文)
- E-033 音楽のムード分類結果を利用したホームビデオへの自動BGM付与・同期手法(E分野:自然言語・音声・音楽,一般論文)
- E-006 Using Feature Selection with Support Vector Machines for Japanese Word Segmentation
- D-036 テレビ番組放送内容に連動したWeb情報選択手法の提案(D分野:データベース,一般論文)
- D-016 オンラインディスカッションの健全度定量化手法の提案(D分野:データベース,一般論文)
- RD-002 HTML要素に着目した違法・有害サイト検出手法の提案と評価(D分野:データベース,査読付き論文)
- 5D-2 信頼性を考慮した自律学習型単語境界推定方式の提案(自然言語処理(2),一般セッション,人工知能と認知科学,情報処理学会創立50周年記念)
- 2C-2 アスキーアート自動抽出法の提案(情報抽出,一般セッション,データベースとメディア,情報処理学会創立50周年記念)
- E-027 情報量基準に基づく形態素解析用辞書の自動獲得方式(自然言語・音声・音楽,一般論文)
- RE-001 くだけた表現を修正するための教師なし学習方式の提案と評価(自然言語・音声・音楽,査読付き論文)
- F-033 Webの半自動検索を利用した網羅的なテーマ関連知識習得支援方式(人工知能・ゲーム,一般論文)
- D-010 リンクの半自動生成に向けたアンカーテキスト推定手法(データベース,一般論文)
- 4)IPビデオマルチキャストにおける画質制御方式の検討([放送方式研究会マルチメディア情報処理研究会映像表現研究会ネットワーク映像メディア研究会画像情報システム研究会]合同)
- 3)ディジタルVTRの遠隔ダビングシステム([放送方式研究会マルチメディア情報処理研究会映像表現研究会ネットワーク映像メディア研究会画像情報システム研究会]合同)
- 5)フレキシブルなビデオストリーム配送方式の検討(ネットワーク映像メディア研究会)
- 1)ユニークワードをエミュレートしない可変長符号の生成法(ネットワーク映像メディア研究会)
- 聴取者違和感指標に基づく全自動DJミックスシステム
- インターネットコンテンツの配信・管理技術 (特集 情報爆発時代に向けた新たな通信技術--限界打破への挑戦) -- (情報爆発時代における通信の果たす役割とその未来像)
- D-4-7 投稿者プロフィールを考慮したTwitter意見分類システムの提案(D-4.データ工学,一般セッション)
- HTML要素に基づく有害サイト検出手法
- 1-5 インターネットコンテンツの配信・管理技術(1.情報爆発時代における通信の果たす役割とその未来像,情報爆発時代に向けた新たな通信技術-限界打破への挑戦-)
- マーケット分析のためのTwitter投稿者プロフィール推定手法 (コンシューマ・デバイス&システム Vol.2 No.1)
- 4-1 CGM動画像検索のための動き特徴の分散に基づいたハイライト区間抽出手法に関する考察(第4部門 メディア処理1)
- 14-6 色情報予測を利用した画像符号化に関する一検討(第14部門 画像・映像符号化)
- 7-3 H.264の重み予測を利用したコントラスト調整に関する一検討(第7部門 メディア工学2)
- 7-7 カメラワーク推定による携帯端末のインターフェースの一検討(第7部門 マルチメディア・ヒューマンインタフェース)
- 11-4 H.264における符号化モードの最適化に関する一検討(第11部門 H.264/AVC)
- 位置情報メタデータを利用した画像検索手法の実装と評価
- 位置情報メタデータを利用した画像検索手法の実装と評価
- 9-4 画像と歌詞の関連度を利用した楽曲連動パーソナルフォトスライドショー生成システム(第9部門デモセッション(聴講無料))