音声と画像の対応付けに基づく概念獲得アルゴリズム

概要

論文の詳細を見る
近年になって、言語学習の研究において、言語入力と非言語入力を同時に与えることにより、効率的に言語、および,その意味的な内容を学習するシステムがSiskindらによって提案されてきた。しかし、これらは非言語入力が一段述語論理の形式であり、実際に非言語的な情報を入力として与えているわけではない。本研究では、実際に音声と画像を与えることにより、その音声が意味する画像の内容を概念として獲得するシステムを作成した。以前開発したシステムでは、音声や画像の特徴抽手ミスの関して、あまり考慮していなかった。本稿では、新しいアルゴリズムについて述べる。本システムは、画像処理部、音声処理部、概念学習部の三つの主要な要素からなる。本システムは、初期知識を全く持たない状態から学習を始める。入力情報として、画像と、画像中の図形を表す音声の対を次々に入力していく過程で、概念を獲得する。なお、本研究が対象としている領域は、二次元図形画像である。そして獲得対象は、大きさ、色、そして、位置について概念である。
一般社団法人情報処理学会の論文
1992-02-24