Mixture of Experts を用いたリカレントネットワークによる時系列処理
スポンサーリンク
概要
- 論文の詳細を見る
本論文では時系列処理が可能なリカレント構造をもつ混合エキスパートモデル(Mixture of Experts:ME)、Jordan型 ME(JME)を提案する。提案モデルでは時系列処理を可能にするため出力を入力の一部(文脈層)にフィードバックするJordanネットワークの構造をMEに付加している。Jordanネットワークでは一つであった文脈層を、必要とする過去の履歴情報を任意に設定できるように複数個に拡張している。提案モデルは従来法に比べ学習回数が大幅に減少している。時系列処理が可能な従来型リカレントニューラルネットワークの学習の多くは誤差逆伝播(Back-Propagation:BP)法を基本としていたため学習回数が非常に多いという問題点があった。提案法に用いるMEは学習対象となる複雑な問題を単純な問題に分割して考えるモジュール化アプローチを導入したモデルである。MEでは非常に高速なExpectation and Maximization(EM)アルゴリズムによって学習を行うことができる。計算機シミュレーションにおいて学習回数の点で従来法に比べ学習の高速性が確認された。
- 1997-03-18
論文 | ランダム
- 訪問看護ステーションの実態と事業戦略--BSCによる事業戦略の検討
- E.B.Whiteの作品『Charlotte's Web』に関する論評
- 高等学校の英語教科書における言語活動の特徴について--東アジアの教科書と比較して
- 日本人学習者に現在完了の概念を理解させる指導法--構文のコアを基に
- 同時処理不要な複数の鍵保有者によるDSA署名生成