ニューラルネットにおける学習率の新しい更新則 : Delta-Bar-Delta-Bar 則
スポンサーリンク
概要
- 論文の詳細を見る
ニューラルネット学習の加速化法として知られるJacobs法の収束の速さは,学習率の更新則:Delta-Bar-Delta則(DBD則)に含まれる増減係数に依存しており,これらを適切に調整しなければ十分な加速効果が得られない.しかしながら,この問題の原因等については一切明らかにされていない.本論文では収束が遅くなる原因を考察し,DBD則と慣性項を併用すると,評価関数曲面の谷においてDBD則による学習率の更新が適切に行われず,重みの振動を抑制できなくなることを明らかにする.次に,この問題点を解決した新しい学習率の更新則:Delta-Bar-Delta-Bar則(DBDB則)を提案する.数値実験より,DBDB則を用いると,学習率の増減率を調整しなくても,最も速く収束する場合と同程度の速さで収束することを示す.
- 一般社団法人情報処理学会の論文
- 1994-06-15
著者
関連論文
- モデル・シミュレーションは脳の理解にどう役に立つか(前編)
- 網膜ON型双極細胞の光応答に伴う多相性伝達物質放出に関するシミュレーション解析(バイオサイバネティックス,ニューロコンピューティング)
- INCF Congress of Neuroinformatics 2008 参加報告
- CMSに基づく医学/生物学分野向け文献管理データベース
- 視覚系のニューロインフォマティクスサイト : Visiome Platform
- 視覚系のニューロインフォマティクス研究支援環境 : VISIOME PLATFORMの概要(企画セッション「ニューロインフォーマティックスとは何か」)
- 視覚系のニューロインフォマティクス研究支援環境 : VISIOME PLATFORM の概要
- SFN'99参加報告
- ウミウシ視細胞における古典的条件付け連合学習メカニズム
- 神経細胞イオン電流のモデルパラメータ推定法
- 広ダイナミックレンジシーンのWYSIWYG的再現 : 多重解像度表現による輝度補正画像の統合(バイオサイバネティックス,ニューロコンピューティング)
- 個人向け研究資産管理ツール: Concierge
- 図地分離がぼけ順応に与える影響(バイオサイバネティックス,ニューロコンピューティング)
- G-013 網膜ON型双極細胞の光応答レンジに関するイオン電流モデルによる解析(G分野:生体情報科学)
- 色信号の統計的性質に基づく知覚的色彩透明視の成立条件
- ぼけ順応が視覚の空間周波数伝達特性に与える影響(バイオサイバネティックス,ニューロコンピューティング)
- 図地分離がぼけ順応に与える影響
- コイ網膜における多局所ERGの同時計測
- メタデータに基づく文献管理ソフトウエア:iPapers (特集 文献管理)
- 網膜双極細胞における細胞タイプと最大イオンコンダクタンスに関する解析
- 網膜ON型双極細胞の光応答時における伝達物質放出のシミュレーション解析
- Neuroinformatics基盤プラットフォームシステム : XooNIps
- メタデータに基づく研究資産管理ツール : Concierge
- サポートベクタ法を用いた分布表現型自己回帰モデルと高次スペクトル推定(通信理論, 信号理論基礎)
- ぼけ順応が視覚の空間周波数伝達特性に与える影響
- 階層型ニューラルネットワークの学習誤差の統計的振舞いについて(バイオサイバネティックス,ニューロコンピューティング)
- 網膜双極細胞シナプス終末の伝達物質放出モデル
- 重力項を有する心臓血管系の電気回路モデルと過重力・微小重力環境下における循環動態の解析
- 心臓血管系モデルを用いた過重力・微小重力環境下の循環動態の解析
- パラボリックフライト中の心臓血管系動態に関する一考察
- 微小重力環境下におけるコイ小脳脳波の解析
- 適応処理による打楽器の打撃時刻抽出と識別
- 眼光学系の波面収差に基づく他覚的な視力測定
- 屈折異常に対する視覚系の適応(一般)(ニューロインフォーマティックスとは何か)
- 屈折異常に対する視覚系の適応
- 眼屈折状態が輝度-瞳孔径関係に与える影響(医用工学)
- 2次元的奥行き手がかりが焦点調節に与える影響
- 瞳孔光反射系の数理モデルとその妥当性
- 眼球の光学特性が輝度-瞳孔径関係に与える影響
- 視覚における瞳孔の機能と網膜像の情報量
- 瞳孔反応・眼球運動(水平・垂直・回旋)・焦点調節の両眼同時計測装置の開発とその評価
- 眼球運動の解析に基づく画像の視認性の評価
- 数理モデルを用いた矩形波状光刺激に対する瞳孔光反射系の応答特性解析
- 画像のボケと眼球運動に関する一考察
- 瞳孔を指標としたヘッドダウンベッドレスト実験における自律神経活動の評価
- 筋の生理学的特性を考慮した瞳孔光反射系モデルの構築
- 瞳孔・眼球運動計測システムの開発と空間識失調評価への応用
- 偏光フィルタを用いた光源色推定と色補正
- 色恒常性を有するディジタルカラーイメージング
- 網膜外網状層神経回路の超並列シミュレーション解析
- 網膜視細胞ネットワークの超並列シミュレーション解析
- コイ網膜水平細胞のダブルフラッシュ応答解析
- 網膜R/G型水平細胞のダブルフラッシュ応答解析
- コイ網膜水平細胞層における刺激依存性受容野の解析
- 3色LEDによるランダム光刺激を用いた視細胞 : 水平細胞ネットワークの非線形特性の解析
- 網膜水平細胞ネットワークへの入力信号推定法
- 網膜水平細胞間のギャップコンダクタンス推定法
- 網膜水平細胞層への入力信号の空間特性解析
- イオン電流モデルによる網膜外網状層フィードバック機構の解析
- イオン電流モデルを用いた神経細胞の入力電流推定法
- 神経回路のモデル化とシミュレーション(人体のモデル化とシミュレーション)
- 網膜神経節細胞のスパイク発火の確率論的モデル
- 網膜水平細胞の電流-電圧特性のシミュレーション解析
- キンギョ網膜水平細胞の非線型膜特性の解析
- 網膜水平細胞から錐体へのフィードバック機構に関するシミュレーション解析
- 網膜外網状層の反対色信号生成モデルに関する研究
- イオン機構に基づく網膜オン型双極細胞シナプス終末モデル
- 網膜神経節細胞のイオン電流モデル
- 網膜オン型杆体双極細胞の光応答形成に関するシミュレーション解析
- 網膜双極細胞のイオン電流モデル
- イオン電流とシナプス機構に基づく網膜オン型杵体双極細胞の光応答モデル
- 第10回IEEE-EMBS医用生体工学国際カンファレンス報告
- 脊椎動物網膜の視覚センサ機能と構造 : その時空間・色覚過程(1部 ヒトのバイオメカニクス)
- 魚の背光反射行動と小脳活動に対する無重力効果
- 網膜水平細胞間のギャップコンダクタンス推定法
- マイクロプローブ電極アレイによる網膜光応答計測
- 瞳孔フラッシュ応答によるパラボリックフライト中の自律神経活動の評価
- 瞳孔フラッシュ応答による自律神経系活動モニタ法の改良
- 心臓血管系モデルを用いたパラボリックフライト中の循環動態解析
- 瞳孔フラッシュ応答に基づく自律神経系活動のモニタ法
- 瞳孔光反射による新しい自律神経系活動のモニタ法
- 瞳孔筋系の逆モデルによる自律神経入力の推定
- 瞳孔筋系の非線形動力学モデル
- ニューロインフォマティクスとその情報基盤
- パーソナルコンピュータによる連続系シミュレータ"SIGMA"とインバータ駆動モータへの応用
- 特別講演「生体・生理工学からニューロインフォマティクスヘ」
- ウィーナー核推定における最適入力パワーレベルの高速決定法
- 相互相関法による非線形システムのウィーナ核推定精度
- ステップ型の基底関数を用いた回帰モデルの統計的性質について
- 正規直交性を満たす離散基底可変型関数表現を用いた回帰モデルにおける最小2乗誤差と予測2乗誤差について
- ステップ型の基底関数を用いた回帰モデルの統計的性質について
- 離散的に基底を可変とする関数表現の2乗誤差規範のもとでの統計的性質について
- 正規直交性を満たす離散基底可変型関数表現を用いた回帰モデルにおける最小2乗誤差と予測2乗誤差について
- マイクロサッカードの解析による視覚的注意の定量化
- 固視微動上にみられる視覚的注意の影響
- 心臓血管系モデルを用いた加齢に伴う加速度脈波変化の再現
- 心臓血管系モデルによる加速度脈波の解析
- 正規直交性を満たす離散基底可変型の関数表現を用いた回帰モデルのモデル選択
- ニューラルネットにおける学習率の新しい更新則 : Delta-Bar-Delta-Bar 則
- 視覚 : 前庭系感覚統合機構に基づく眼球運動モデルに関する研究