リアルタイム字幕作成支援のための数式抽出(聴覚と福祉情報工学,一般)

スポンサーリンク

概要

論文の詳細を見る
本稿ではリアルタイム字幕提示システムを使用する際に,いくつかの解釈ができる発話数式で発生する字幕入力の困難さを解決する手法を提案する.本研究では発話数式に対応するスライドの数式画像を自動で抽出する手法を用いている.この手法は数式発話時に講師が発話数式に対応するスライドの数式を指示しているという特徴を利用している.音声認識エンジンJulius,日本語話し言葉コーパスモデルから得られた音響モデル・言語モデルを用い,講義資料に含まれる数式要素を辞書登録することで,数式発話抽出を行う.また,映像から取得した指示棒先端の軌跡から,講師の行っている指示動作を抽出する.そして,数式要素抽出結果と指示動作抽出結果を統合することで,発話数式に対応する数式画像を抽出している.実際に収録したデータに対して,音声認識によって数式要素を抽出し,その結果を用いて数式画像抽出処理を行った.その結果,約70%の再現率,約91%の適合率を得た.
2011-02-11

著者

関連論文

もっと見る

スポンサーリンク