3層ニューラルネットにおける2階導関数を用いた学習アルゴリズムの高速化
スポンサーリンク
概要
- 論文の詳細を見る
代表的な非線形最適化法の準ニュートン法や共役傾斜法の適用により,3層ニューラルネットの学習の高速化が期待されるが,従来法では,探索の最適ステップ幅を直接探索により求めるので,1回の反復計算に多くの計算量が必要となり,学習はあまり高速化できなかった.本稿では,最適ステップ幅を2次近似の最小点として求めることにより,バックプロパゲーションと同程度の計算量で,1回の反復計算を実行する2つの方法BPQとBPCを提案する.パリティ問題とソナーデータを用いた実験により,提案法の収束能力と処理効率が,ほとんどの主な従来法と比較して,格段に向上することを示す.
- 1994-05-19
著者
関連論文
- トラックバックネットワークに基づくSEOコミュニティの分析(事例分析,ネットワーク生態学〜生命現象から社会文化現象の新しいパースペクティブ〜)
- MV正則化を用いたニューラルネットモデル簡素化
- 混合モデルを用いた異常値の可視化
- 多項分布に基づく自己組織化マップの特性評価
- 教師情報を導入したSOM学習モデル
- LA-002 固体酸化物燃料電池における破壊ダイナミクスの可視化法(モデル・アルゴリズム・プログラミング)
- ベクトル表現可能な機械抽出トピックの定量的評価法
- ベクトル表現可能な機械抽出トピックの定量的評価法(セッション3)
- 自己組織化マップによる教師情報を用いた可視化アーキテクチャの提案 : 時系列医療データの可視化を例に(「ネットワークデータマイニング」「センサデータマイニング」)
- 自己組織化マップによる教師情報を用いた可視化アーキテクチャの提案 : 時系列医療データの可視化を例に(「ネットワークデータマイニング」「センサデータマイニング」)
- 第2回マシンインテリジェンスに関する国際ワークショップ(International Workshop on Machine Intelligence 1993)の報告
- 「ニューロラルな視点からの挑戦」へのコメントと回答
- 交差検証誤差最小化によるSV回帰ハイパーパラメータ最適化の高速化
- 確率的混合部分空間法 : 混合因子分析を用いたパターン認識法
- 内部状態制約を考慮したリカレントニューラルネットワークの学習
- リカレントネットによる有限状態機械の適応的βスケジュール学習法
- アフィン神経力学系の一意表現
- 一般化受理確率関数を備えた確率的局所探索法による多目的最適化
- 混合モデルのための併合分割操作付きEMアルゴリズム
- リカレントニューラルネットワークが生成する力学系
- 確率的混合部分空間法 : 混合因子分析によるパターン認識法
- 25a-G-12 大域結合カオス力学系の同期を用いた秘匿通信法
- 併合・分割操作付きEMアルゴリズムとその混合分布推定への応用
- HMEの構成的学習アルゴリズム
- アンサンブル学習における汎化誤差解析
- 確定的アニーリング : もうひとつのアニーリング
- リカレントネットが引き起こす力学系の一意表現
- 遺伝的局所探索法によるジョブショップスケジューリング問題の解法
- 最小分類誤り基準に基づく識別関数のアンサンブル学習
- リカレントネットによる有限オートマトンの適応的アニーリング学習法
- 確定的アニーリングEMアルゴリズム
- クラスタリングを用いた強化学習システムIPMBNの環境変化への適応について(ニューラルネットワーク画像復元及び一般)
- BN混合モデルを用いたオンライン型方策改善システムの動的環境への適応(ベイジアンネット2 : ポスターセッション)
- ニューラルネットを用いた法則発見
- 4層パーセプトロンを用いた質的条件付き重回帰(バイオサイバネティックス,ニューロコンピューティング)
- 社会ネットワーク上の情報伝搬における強影響力ノード抽出の効率化(データマイニング)
- 4層パーセプトロンを用いた名義空間自動分割型重回帰
- 重み双方向クラスタリング学習法 : 最適な共有重み構造をもつニューラルネットを求めて(バイオサイバネティックス, ニューロコンピューティング)
- ニューラルネットを用いたテキストの特徴語抽出(一般)(ニューロインフォーマティックスとは何か)
- 多層パーセプトロンを用いた区分的多項式回帰(一般)(ニューロインフォーマティックスとは何か)
- ニューラルネットを用いたテキストの特徴語抽出
- 多層パーセプトロンを用いた区分的多項式回帰
- 線形変数変換に不変な自乗値ペナルティ項の構成法(知識処理)
- 交差検証誤差最小化による重要重みの発見
- NC2000-44 質的条件付き数法則発見法 : RF6.2アルゴリズム
- 法則発見法RF6.2の生化学データへの適用と評価 (テーマ:「データマイニング--共通データからの知識発見」および一般)
- 質的条件付き数法則発見法のVQと決定木を用いた高速化 (小特集 「発見科学」及び一般演題)
- 線形変数変換に不変な自乗値ペナルティ項の構成法 (小特集 「発見科学」及び一般演題)
- 交差検証誤差最小化による重要重みの発見
- 2次学習アルゴリズムBPQによるリカレントネットワーク学習とガウス混合分布推定
- 2次学習アルゴリズムBPQの分類問題への適用法とその評価
- MDL 原理に基づく新正則化法
- ニュ-ラルネット法則発見法の大規模デ-タへの適用性
- 自乗値ペナルティ項を用いた2次学習アルゴリズム
- 量子通信路容量の超加法性の達成度に関する一考察
- 正解ニッチェ表現をめぐるルール間生存競争
- 3層ニューラルネットにおける2階導関数を用いた学習アルゴリズムの高速化
- サポートベクトル回帰におけるハイパーパラメータの最適化法
- 原始初期点とSubsamplingを用いたEM初期値生成法
- Loopy-BPにおける計算速度向上のためのネットワーク構造簡略化(ニューラルネットワーク画像復元及び一般)
- 多点探索DAEMにおける効果的な温度スケジューリング
- リカレントネットを用いた力学系学習におけるモデル選択と局所最適性
- DAEMアルゴリズムを用いた多点探索
- ニューロナルな視点からの挑戦
- A-6-2 M元線形独立信号に対する量子最適受信機の一実現法
- コネクショニストアプローチによる数法則の発見
- HMEの構成的学習アルゴリズム
- 準ニュートン法に基づくElmanネットワークの学習アルゴリズム
- コミュニティーをもつ成長ネットワークモデル
- 類似テキスト検索のための多重トピックテキストモデル
- A-4 金融データからのニューラルネットを用いた知識発見(日本統計学会第68回大会記録 : 金融工学と統計分析 (1))
- 金融データからのニューラルネットを用いた知識発見
- ジョブショップスケジューリング問題とクリティカルブロックSA法
- 24)リカレントネットによる有限オートマトンのアニーリング学習法(ヒューマンインフォメーション研究会)
- リカレントネットによる有限オートマトンのアニーリング学習法
- リカレントネットによる有限オートマトンのアニーリング学習法
- 事例からのルール抽出 : RF2アルゴリズム
- シミュレーテッドアニーリング : 基礎と最新技術
- 知識表現・知識獲得基本技術 (知識処理技術)
- 機械学習 : ニューラルネットを中心に
- ボンガルド問題と概念学習アルゴリズム
- リカレントネットワークが引き起こす力学系の学習について
- ニュ-ラルネットを用いた法則発見
- 自乗値ペナルティ項を用いた2次学習アルゴリズム
- 自乗値ペナルティ項を用いた2次学習アルゴリズム
- 適応概念学習アルゴリズム:RF4
- ベイズ推定に基づくタスク順序付け
- ノイズを含む事例からのルール抽出 : RF3アルゴリズム
- 関係論理から最適な関係代数表現への変換法
- 関係論理表現に現れる集約関数の最適関係代数表現への変換法
- ニューラルネットによるデータマイニング
- ニューラルネットによるデータマイニング(データ・テキストマイニング)