内部状態制約を考慮したリカレントニューラルネットワークの学習
スポンサーリンク
概要
- 論文の詳細を見る
3層リカレントニューラルネットワークによる有限状態機械の学習において,汎化能力向上のための中間層の状態制約を考慮した新たな学習方法を提案する.リカレントニューラルネットワークが有限状態機械として挙動する際,中間層のニューロンが有限状態機械の状態として働き,特にその出力値が頂点近傍に局在することが動作安定性に大きく寄与することを示した.この性質から,中間層の状態制約に関する項を学習の際の評価関数に付加する.つまり,評価関数に,結合重みに関するペナルティ項,学習事例との誤差項,及び中間層の状態制約項が含まれることになるが,ベイズ学習の枠組みでそれぞれを事前分布,ゆう度関数そして新たに状態表現に関するゆう度関数とみなす.そして,これらの項の係数をエビデンス最大化により決定し,学習を行う.また,本学習法と従来の方法との比較実験を行った結果,提案方法により未知データに対して汎化誤差の減少が見られた.
- 社団法人電子情報通信学会の論文
- 1999-11-25
著者
-
新井 賢一
日本電信電話株式会社NTTコミュニケーション科学基礎研究所
-
中野 良平
Ntt コミュニケーション科学基礎研究所
-
中野 良平
NTTコミュニケーション科学基礎研究所
-
新井 賢一
NTTコミュニケーション科学基礎研究所
-
中中 良平
Nttコミュニケーション科学基礎研究所
関連論文
- べき則の性質を有するトポロジにおけるパケット転送遅延の評価(ネットワークアーキテクチャ(オーバレイ,P2P,ユビキタスNW,スケールフリーNW,アクティブNW,NGN・新世代NW),次世代パケットトランスポート(高速Ethernet,IPoverWDM,マルチサービスパケット技術,MPLS),グリッド,一般)
- スケールフリー通信ネットワークの混雑と臨界パケット発生率
- 知識共有サイトにおける投稿数の乗算確率過程的成長モデル
- 確率的混合部分空間法 : 混合因子分析を用いたパターン認識法
- 内部状態制約を考慮したリカレントニューラルネットワークの学習
- 確定的アニーリングEMアルゴリズム
- リカレントネットによる有限状態機械の適応的βスケジュール学習法
- アフィン神経力学系の一意表現
- 一般化受理確率関数を備えた確率的局所探索法による多目的最適化
- 混合モデルのための併合分割操作付きEMアルゴリズム