内部状態制約を考慮したリカレントニューラルネットワークの学習
スポンサーリンク
概要
- 論文の詳細を見る
3層リカレントニューラルネットワークによる有限状態機械の学習において,汎化能力向上のための中間層の状態制約を考慮した新たな学習方法を提案する.リカレントニューラルネットワークが有限状態機械として挙動する際,中間層のニューロンが有限状態機械の状態として働き,特にその出力値が頂点近傍に局在することが動作安定性に大きく寄与することを示した.この性質から,中間層の状態制約に関する項を学習の際の評価関数に付加する.つまり,評価関数に,結合重みに関するペナルティ項,学習事例との誤差項,及び中間層の状態制約項が含まれることになるが,ベイズ学習の枠組みでそれぞれを事前分布,ゆう度関数そして新たに状態表現に関するゆう度関数とみなす.そして,これらの項の係数をエビデンス最大化により決定し,学習を行う.また,本学習法と従来の方法との比較実験を行った結果,提案方法により未知データに対して汎化誤差の減少が見られた.
- 社団法人電子情報通信学会の論文
- 1999-11-25
著者
-
新井 賢一
日本電信電話株式会社NTTコミュニケーション科学基礎研究所
-
中野 良平
Ntt コミュニケーション科学基礎研究所
-
中野 良平
NTTコミュニケーション科学基礎研究所
-
新井 賢一
NTTコミュニケーション科学基礎研究所
-
中中 良平
Nttコミュニケーション科学基礎研究所
関連論文
- べき則の性質を有するトポロジにおけるパケット転送遅延の評価(ネットワークアーキテクチャ(オーバレイ,P2P,ユビキタスNW,スケールフリーNW,アクティブNW,NGN・新世代NW),次世代パケットトランスポート(高速Ethernet,IPoverWDM,マルチサービスパケット技術,MPLS),グリッド,一般)
- スケールフリー通信ネットワークの混雑と臨界パケット発生率
- 知識共有サイトにおける投稿数の乗算確率過程的成長モデル
- 確率的混合部分空間法 : 混合因子分析を用いたパターン認識法
- 内部状態制約を考慮したリカレントニューラルネットワークの学習
- 確定的アニーリングEMアルゴリズム
- リカレントネットによる有限状態機械の適応的βスケジュール学習法
- アフィン神経力学系の一意表現
- 一般化受理確率関数を備えた確率的局所探索法による多目的最適化
- 混合モデルのための併合分割操作付きEMアルゴリズム
- リカレントニューラルネットワークが生成する力学系
- 確率的混合部分空間法 : 混合因子分析によるパターン認識法
- 遺伝的アルゴリズムを用いたオペレータスケジューリング
- 25a-G-12 大域結合カオス力学系の同期を用いた秘匿通信法
- 併合・分割操作付きEMアルゴリズムとその混合分布推定への応用
- HMEの構成的学習アルゴリズム
- アンサンブル学習における汎化誤差解析
- 確定的アニーリング : もうひとつのアニーリング
- リカレントネットが引き起こす力学系の一意表現
- 遺伝的局所探索法によるジョブショップスケジューリング問題の解法
- 最小分類誤り基準に基づく識別関数のアンサンブル学習
- リカレントネットによる有限オートマトンの適応的アニーリング学習法
- 確定的アニーリングEMアルゴリズム
- ニューラルネットを用いた法則発見
- 4層パーセプトロンを用いた質的条件付き重回帰(バイオサイバネティックス,ニューロコンピューティング)
- 社会ネットワーク上の情報伝搬における強影響力ノード抽出の効率化(データマイニング)
- 4層パーセプトロンを用いた名義空間自動分割型重回帰
- 重み双方向クラスタリング学習法 : 最適な共有重み構造をもつニューラルネットを求めて(バイオサイバネティックス, ニューロコンピューティング)
- ニューラルネットを用いたテキストの特徴語抽出(一般)(ニューロインフォーマティックスとは何か)
- 多層パーセプトロンを用いた区分的多項式回帰(一般)(ニューロインフォーマティックスとは何か)
- ニューラルネットを用いたテキストの特徴語抽出
- 多層パーセプトロンを用いた区分的多項式回帰
- 線形変数変換に不変な自乗値ペナルティ項の構成法(知識処理)
- 交差検証誤差最小化による重要重みの発見
- NC2000-44 質的条件付き数法則発見法 : RF6.2アルゴリズム
- 法則発見法RF6.2の生化学データへの適用と評価 (テーマ:「データマイニング--共通データからの知識発見」および一般)
- 質的条件付き数法則発見法のVQと決定木を用いた高速化 (小特集 「発見科学」及び一般演題)
- 線形変数変換に不変な自乗値ペナルティ項の構成法 (小特集 「発見科学」及び一般演題)
- 交差検証誤差最小化による重要重みの発見
- 2次学習アルゴリズムBPQによるリカレントネットワーク学習とガウス混合分布推定
- 2次学習アルゴリズムBPQの分類問題への適用法とその評価
- MDL 原理に基づく新正則化法
- 自乗値ペナルティ項を用いた2次学習アルゴリズム
- べき則の性質を有するトポロジにおけるフィードバック型フロー制御に起因するパケット転送遅延の評価(有線/無線シームレスネットワーク,ハンドオーバ,リレー,分散MIMO,モバイル・アドホックネットワーク,一般)
- 3層ニューラルネットにおける2階導関数を用いた学習アルゴリズムの高速化
- 29pPSA-40 写像結合系における位相スリップの振舞いについて(領域11ポスターセッション)
- FitzHugh-Nagumoネットワークでの確率共振による連想的想起
- 18pRH-10 決定論的確率共振の力学的観点からみた起源
- 感覚ニューロンのスパイクとカオス位相同期のスリップにおける決定論的確率共振
- カオス振動子におけるStochastic Resonance
- 24pWH-8 カオス位相同期におけるstochastic resonance
- コネクショニストアプローチによる数法則の発見
- HMEの構成的学習アルゴリズム
- 準ニュートン法に基づくElmanネットワークの学習アルゴリズム
- 知識共有サイトにおける投稿数の乗算確率過程的成長モデル(Session 2)
- 24aTE-3 白色ガウスノイズ入力のある振動子の位相縮約(反応拡散系,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- ジョブショップスケジューリング問題とクリティカルブロックSA法
- 質的変数で条件付けられた数法則の発見法
- A-2-25 ノイズを含む半導体レーザカオスを用いた物理乱数生成器のエントロピー生成率(A-2.非線形問題,一般セッション)
- A-2-24 レーザカオスによる高速非決定論的物理乱数生成に関する理論的考察(A-2.非線形問題,一般セッション)
- 24)リカレントネットによる有限オートマトンのアニーリング学習法(ヒューマンインフォメーション研究会)
- リカレントネットによる有限オートマトンのアニーリング学習法
- リカレントネットによる有限オートマトンのアニーリング学習法
- 事例からのルール抽出 : RF2アルゴリズム
- シミュレーテッドアニーリング : 基礎と最新技術
- A-2-32 半導体レーザカオスを用いた物理乱数生成の後処理による高速化(A-2.非線形問題,一般セッション)
- ボンガルド問題と概念学習アルゴリズム
- リカレントネットワークが引き起こす力学系の学習について
- ガルトンボードの予測不可能性について (非線形問題)
- 自乗値ペナルティ項を用いた2次学習アルゴリズム
- 自乗値ペナルティ項を用いた2次学習アルゴリズム
- 適応概念学習アルゴリズム:RF4
- ベイズ推定に基づくタスク順序付け
- ノイズを含む事例からのルール抽出 : RF3アルゴリズム
- 半導体レーザカオスを利用した高速物理乱数生成 (特集 情報と人間を結ぶコミュニケーション科学)
- 24pAE-10 ガルトンボードの最終状態の予測不可能性について(24pAE 保存力学系・その他の力学系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- ガルトンボードの予測不可能性について
- A-2-15 相互結合された半導体レーザを有する光集積回路における物理乱数生成実験(A-2.非線形問題,一般セッション)
- 27aXK-12 ノイズを含む決定論的確率共振(27aXK その他の力学系モデル,その他の系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理分野))
- 外部共振器を有するカオス発生用光集積回路による高速物理乱数生成