遠隔パソコン要約筆記のための指示語と指示動作との統合手法の検討(聴覚と福祉情報工学・一般)

概要

論文の詳細を見る
講義における,聴覚障害者のための情報保障の1つに遠隔パソコン要約筆記がある.これは,講義の音声と映像を遠隔地にいる要約筆記者に送り,その情報を基に作成した要約筆記文を講義室内の聴覚障害者に提示するものである.しかし,講師が指示動作を行いながら指示語を発話した時に,要約筆記者がその指示動作を見ていないと,指示語に対応する指示対象物が分からなくなってしまうという問題が起こりうる.そこで,この問題を解決するために,講師音声から指示語を,講師映像からは指示動作及びその指示対象物を抽出し,指示語と指示対象物を関連付けて要約筆記者に提示するシステムの研究開発を行っている.本研究では,講師音声からの指示語発話抽出手法として,音声認識を利用した手法を提案し,さらに,指示語抽出結果と指示動作抽出結果の統合手法も提案する.この統合手法は,指示語発話と指示動作の時間の関連性を利用している.そして,実際に収録した講義データに対して,指示語・指示動作抽出処理行い,さらに,統合処理を行った結果,再現率約91%,適合率約71%を得ることができた.
社団法人電子情報通信学会の論文
2009-02-13