言語情報と映像情報の統合による物体のモデル学習と認識(自然言語,<特集>新しいパラダイムの中での分散システム/インターネット運用・管理)

スポンサーリンク

概要

論文の詳細を見る
近年の計算機・ネットワーク環境の進歩により,膨大な映像アーカイブが蓄積されるようになった.本研究では作業教示映像である料理映像を具体的題材とし,料理映像に現れる食材の物体モデルを自動学習し,それを用いて物体認識を行う手法を提案する.まず,物体がアップになっている画像を抽出し,その画像における注目領域を決定する.次に,画像の周辺の発話から重要な単語をキーワードとして抽出し,注目領域と対応付ける.このような注目領域とキーワードのペアを大量に収集することにより,物体モデルを構築する.物体モデルが構築された後,物体モデルの色情報と談話構造に基づく単語の重要度を考慮することにより,物体認識を行う.2つの料理番組,計約96時間分の映像から物体モデルを構築したところ,約100食材の物体モデルが構築でき,その精度は77.8%であった.また,そのモデルを利用して物体の認識を行ったところ,精度はF値で0.727であった.
2008-03-15

著者

関連論文

もっと見る

スポンサーリンク