オンライン学習における適応自然勾配法の評価
スポンサーリンク
概要
- 論文の詳細を見る
適応自然勾配法は自然勾配法におけるFisher情報行列の逆行列を近似的に求めるもので, 1)入力の分布を予め知っている必要が無い, 2)入力次元をNとすると,O(N^3)だった計算コストをO(N^2)にする,という利点がある.本研究では,ソフトコミティーマシンでのオンライン学習の枠組みで,統計力学的手法を用いて,適応自然勾配法の性能を評価した.その結果,ネットワークパラメータの更新割合とFisher情報行列の逆行列の推定値の更新割合との比を小さくすれば,自然勾配法とほぼ同等の性能が出ることが分かった.
- 社団法人電子情報通信学会の論文
- 2003-03-11
著者
-
岡田 真人
理化学研究所 脳総研
-
井上 真郷
早稲田先進理工
-
井上 真郷
理化学研究所脳科学総合研究センター脳数理研究チーム
-
朴 慧暎
理研
-
朴 慧暎
理化学研究所脳科学総合研究センター脳数理研究チーム
-
岡田 真人
理化学研究所 脳科学総合研究センター
-
朴 慧暎
理化学研究所 脳科学総合研究センター
-
朴 慧〓
Riken Brain Science Institute
関連論文
- 20pEA-3 交換モンテカルロ法とクラスタリングによる連想記憶モデルの解析(20pEA ニューラルネットワーク1(情報統計力学を含む),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 2.画像領域分割の確率モデルと脳の視覚情報処理(ビジョンコンピューティングにおける確率的情報処理の展開)
- 経路積分法によるリミットサイクルを持つ連想記憶モデルの解析
- 共通ノイズによる局在興奮の確率共振
- 耳下部に発生した巨大石灰化上皮腫例
- 部分干渉除去によるマルチステージ検出器の性能改善(スペクトル拡散技術)
- A-5-16 統計神経力学を用いたCDMA線形並列干渉除去復調器の性能改善(A-5. ワイドバンドシステム)
- A-5-8 部分干渉除去によるマルチステージ検出器の性能改善
- 多段CDMAマルチユーザー復調器に対する密度発展法
- 小鳥の高次発声中枢における歌要素系列のポピュレーションコーディング(ニューラルネットワーク画像復元及び一般)
- 一次視覚野情報からの画像再構築
- 25pRJ-2 並進対称なフィルタの下でのベイズ画像再構成と最適フィルタ設計(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 並進対称なフィルタの下でのベイズ的に最適な画像再構成(一般(ベイズ法など),脳インタフェースの技術と応用,一般)
- 20aWA-7 畳み込みフィルタ出力を考慮した画像修復(確率過程,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 14pTD-6 Sourlas 符号の PCA による解析 II(情報統計力学, 領域 11)
- 30aWB-13 Sourlas符号のPCAによる解析(情報統計力学)(領域11)
- 21aTQ-11 ソフトコミティーマシンのオンライン学習における適応自然勾配法の評価
- Plateau and Quasi-Plateau Due to Singularity in Multilayer Perceptrons--Standard Gradient vs. Natural Gradient (特集 統計的学習理論及び一般)
- オンライン学習における適応自然勾配法の評価
- 自然勾配法は多層パーセプロトンの隠れ層の相関に影響されない
- 21aTL-3 磁場あり疎結合スピングラス横型におけるBethe近似を用いたAT解析(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 顔の持つ多彩な情報の脳内表現と連想記憶モデル
- [特別講演]顔の持つ多彩な情報の脳内表現と連想記憶モデル(顔とジェスチャの認識)
- スパイクタイミング依存可塑性のLTPとLTDの非対称性が想起状態に与える影響
- 局所回路間の振動位相変化による相互作用の制御
- 時間非対称ヘブ学習によるシナプス効率の自己調節のメカニズム
- [特別講演]顔の持つ多彩な情報の脳内表現と連想記憶モデル(顔とジェスチャの認識)
- 小鳥の高次発声中枢における歌要素系列のポピュレーションコーディング
- ランダムなスパイク列と規則的なスパイク列を判別するための最適な指標の探索(生体情報科学)
- 局所的な分散表現を持つトポグラフィックマップ
- 樹状突起における電気的応答特性の推定
- スパイクレスポンスモデルの位相応答曲線
- ショウジョウバエ嗅覚回路におけるシナプス前抑制とシナプス後抑制の匂い弁別に対する違い
- マルコフ確率場モデルにおける確率伝播法をもちいたα波位相,振幅の同時推定
- 混合べルヌーイ分布を用いたクラスタリングによる連想記憶モデルの解析
- 階層的な記憶パターンを持つ自己相関型連想記憶モデルのPCAによる解析
- メキシカンハット型相互結合を持つXYモデルの解析(一般,ニューロコンピューティングの実装とシステム化,一般)
- 交換モンテカルロ法による反射スペクトルにおける複合吸収帯の推定(一般講演(物理現象と学習),機械学習とその応用)
- 自然勾配法は多層パーセプロトンの隠れ層の相関に影響されない
- 粒子フィルタによる細胞内カルシウム動態の推定
- 粒子フィルタによる細胞内Ca^動態の推定実データへの応用
- ランダムさの異なる二つのスパイク列を判別するための最適な指標の探索(バイオサイバネティックス, ニューロコンピューティング)
- 経路積分法によるリミットサイクルを持つ連想記憶モデルの解析(NC一般セッション(1))(認識と学習,模倣学習)
- 経路積分法によるリミットサイクルを持つ連想記憶モデルの解析(NC一般セッション(1))(認識と学習,模倣学習)
- 異なった入出力パターンのバイアスをもつ単純パーセプトロンの記憶容量(研究速報)
- シナプス過剰生成後の刈り込みによるシナプス効率増加の解析
- メキシカンハット型結合をもつSynfire Chainの理論(バイオサイバネティックス,ニューロコンピューティング)
- Mexican Hat型結合を持つSynfire Chainの解析
- 領域ベースの隠れ変数と確率伝搬法を用いた画像領域分割(IBIS2010(情報論的学習理論ワークショップ))
- 27pRD-9 実時間量子アニーリング法によるスピングラス基底状態の探索時間のスケーリング(27pRD スピングラス・ランダムスピン系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 24aYB-4 量子アニーリング法と二つのメカニズムについて(情報統計力学・ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 経頭蓋磁気刺激の神経メカニズム : 反回性皮質回路網でのスパイク抑制
- 経頭蓋磁気刺激による知覚抑制効果のネットワークモデル
- 樹状突起を逆伝搬する活動電位の神経間相互作用への影響(統計的学習理論及び一般)
- パラレルブースティングのオンラインラーニングの理論
- マージンを用いた単純パーセプトロン学習法のオンラインラーニングの理論
- マージンを用いた単純パーセプトロン学習法のオンラインラーニングの理論
- 動的結合振動子 : 動的相互作用による協力現象
- 階層型連想記憶モデルにおける同期発火
- パルス結合されたResonate-and-Fireモデル(バイオサイバネティックス,ニューロコンピューティング)
- ランダムなスパイク列と規則的なスパイク列を判別するための最適な指標の探索
- パルス結合されたResonate-and-Fireモデル(「脳・認知科学」及び一般)
- 画像修復と誤り訂正符号の緩和過程
- 日本神経回路学会創立20周年記念パネルディスカッション
- オンライン学習理論に基づく単純パーセプトロンのアンサンブル学習の解析(パターン認識)
- オンライン学習理論に基づく単純パーセプトロンのアンサンブル学習の解析(統計的学習理論及び一般)
- 19pXL-6 密度行列繰り込み群による量子アニーリング法(スピングラス・ランダムスピン系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 側頭葉のアトラクターネットワークの双安定性
- 主成分分析を用いたK-SAT問題における相転移現象の可視化
- 相関のあるノイズ下での画像修復のハイパーパラメータ推定について
- 神経多様体の特異点と学習
- 階層モデルにおける学習と推論 : 特異構造をもつ統計モデル(情報論的学習理論論文小特集)
- 誤り訂正符合のナイーブ平均場近似
- デンドライトを逆伝搬する活動電位による双安定状態
- 一次聴覚野トノトピーの滑らかさと音刺激統計性の関係
- 神経細胞の冗長性は運動学習の速度を最大化する(一般及び雑音を有効利用する神経系やそのモデル)
- ラインプロセスを用いた樹状突起の膜抵抗分布の統計的推定
- マッチング則に従う意思決定の履歴依存性における指数フィルタ特性を説明するシナプス学習則
- シナプス可塑性を組み込んだ相関の理論
- シナプス抑圧を持つホップフィールドモデルの記憶容量
- 相関のあるノイズ下での画像修復のハイパーパラメータ推定について(パターン認識)
- 相関のあるノイズ下での画像修復のハイパーパラメータ推定について
- スパイク解析理論入門
- 対数線形モデルを用いたスパイク解析手法の統計力学
- スパイク高次相関と相関関数によるニューロン間相互作用の推定
- 対数線形モデルを用いたスパイク解析手法の統計力学
- 空間的な相関を持つノイズ下での画像修復
- 神経細胞の冗長性は運動学習の速度を最大化する(一般及び雑音を有効利用する神経系やそのモデル)
- 画像修復のナイーブ平均場近似 : 統計力学による解析
- [チュートリアル講演]アンサンブル学習(統計的学習理論及び一般)
- 主成分分析を用いたK-SAT問題における相転移現象の可視化(テーマセッション,コンピュータビジョンとパターン認識のための機械学習)
- 主成分分析を用いたK-SAT問題における相転移現象の可視化(テーマセッション,コンピュータビジョンとパターン認識のための機械学習)
- 樹状突起を逆伝搬する活動電位の神経間相互作用への影響(一般)(ニューロインフォーマティックスとは何か)
- 確率的Slow Feature Analysisにおける観測ノイズの影響
- メトロポリス法における平均採択率の挙動について(ポスターセッション,第14回情報論的学習理論ワークショップ)
- 四次元MRFを利用した事前分布によるBayes断層画像再構成法(イメージング,医用画像論文)
- 18aAA-5 リング上の位相振動子ネットワークの自己無撞着方程式と同期非同期相転移の研究II : 一般的な相互作用の場合(18aAA 情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- L1正則化ロジスティック回帰によって明らかにされた下側頭葉視覚連合野における階層的視覚情報表現(バイオサイバネティクス,ニューロンコンピューティング)
- 短期的シナプス抑圧・促進を含む神経回路網の安定性解析
- XYスピン系における自己相関型連想記憶モデルの解析 : 相関がある有限個の記憶パターンを学習した場合