自然勾配学習法の有効性
スポンサーリンク
概要
- 論文の詳細を見る
ニューラルネットの学習において、学習の停滞期(プラトー)が起きて、なかなか学習が進まないことがある。そのプラトーを避け、もっと速く学習する方法として、自然勾配学習法が甘利らによって考えられた^1)。本論文では、この自然勾配学習法がうまくいかない場合があることを示し、その解決策として、普通の勾配学習法と自然勾配学習法を組み合わせることを提案し、数値実験で有効性を示す。
- 社団法人情報処理学会の論文
- 2001-05-25
著者
-
須田 礼仁
東京大学情報理工学系研究科
-
杉原 正顯
東京大学大学院情報理工学系研究科
-
杉原 正顯
東京大学情報理工学系研究科
-
杉原 正顯
名古屋大学
-
田中 研太郎
名古屋大学工学部 現東大
-
須田 礼二
名古屋大学工学研究科計算工学専攻
-
須田 礼仁
東大
関連論文
- 第二種積分方程式に対するSinc選点法の改良とその理論解析(理論)
- Scilab : 数値計算のためのフリーソフトウェア
- Self-exciting性をもつイベント発生強度モデルによる社債ポートフォリオのリスク解析 (ファイナンスの数理解析とその応用)
- 自動チューニングのための数理基盤技術(数値計算のための自動チューニング)
- Bi-CR法への準最小残差アプローチの適用について(理論,行列・固有値問題の解法とその応用,平成19年研究部連合発表会)
- 共役残差法の非対称行列用への拡張(行列・固有値問題の解法とその応用, 平成17年研究部会連合発表会)
- 特異値計算アルゴリズムdqds法の収束定理 (計算科学の基盤技術としての高速アルゴリズムとその周辺)
- 特異値計算アルゴリズムdqds法の理論保証付き超2次収束シフト戦略(理論)
- Sinc-Gauss Sampling Formula(Mathematical Sciences for Large Scale Numerical Simulations)
- 特異値計算のためのdqds法とmdLVs法の収束性について(理論)
- Gauss核サンプリング公式の複素関数論による誤差評価(理論)
- 離散変分法の非一様格子への拡張(理論)
- 第二種積分方程式に対するSinc法とその理論解析 (数値解析における理論・手法・応用)
- 一般化Bi-CGSTAB$(s, L)$ : = 一般化IDR$(s, L)$ (数値解析における理論・手法・応用)
- The Innovator's Dilemma
- 3次元代用電荷法の誤差の収束について : 球面の場合(数値シミュレーションを支える応用数理)
- 2資産に依存するオプションの高速・高精度価格計算手法(数値計算)
- H-行列の直接的判定法
- 代用電荷法による数値等角写像とポテンシャル流問題への応用(アルゴリズム理論)
- 周期的Stokes流問題に対する基本解法 (再生核の理論の応用)
- 代用電荷法による数値等角写像とポテンシャル流問題への応用(再生核の理論の応用)
- 代用電荷法を用いた数値等角写像に関する最近の話題 (微分方程式の数値解法と線形計算)
- The Innovator's Dilemma
- Dutt-Rokhlinの不等間隔高速順フーリエ変換の数値的研究
- 代用電荷法に基づく補間法に現れる係数行列の正則性
- 二重フーリエ級数展開を用いた球面上の浅水方程式の高速解法
- SA-2-4 Sinc Numerical Methodsの新展開
- 自然勾配学習法の有効性
- 二重フーリエ級数展開を用いた球面上の流体方程式の高速解法
- 連立系に対する離散変分法について (偏微分方程式の数値解法とその周辺II)
- Kazuo Murota(室田一雄), Matrices and Matroids for Systems Analysis, Springer-Verlag, 2000年
- 代用電荷法による非有界な多重連結領域の統一的な数値等角写像の方法(創立40周年記念論文)
- 二重フーリエ級数展開を用いた球面浅水方程式の高速解法
- 2000-HPC-81-2 二重Fourier級数展開を用いた球面上の非圧縮性流体方程式の高速解法
- Linearly Implicit Finite Difference Schemes Derived by the Discrete Variational Method (Numerical Soluti on of Partial Differential Equations and Related Topics)
- FFTを用いた球面上の非圧縮性流体方程式の高速解法
- FMMによるLegendre陪関数変換の高速化
- Orszagの高速Legendre多項式変換法の改良
- 球面上のPoisson方程式の高速解法
- FFTを用いた球面上の流体方程式の高速解法
- 特異な係数行列をもつ連立一次方程式に対するCR法の収束性
- 電子状態計算に現れるPoisson方程式の高速解法
- Multi-Master Divisible Loadスケジューリングの最適化と漸近性能(最適化・高速化)
- 非線形Schrodinger方程式に対する差分スキームの離散的変分による導出
- Justification of a formal derivation of the Euler-Maclaurin summation formula (Applications of Analytic Extensions)
- 高速球面調和関数変換法の誤差の解析と制御
- ハミルトン偏微分方程式に対する解析力学的空間離散化法とその応用 (数値解析と数値計算アルゴリズムの最近の展開--RIMS研究集会報告集)
- 行列計算ライブラリインタフェースSILCの分散並列環境への実装(HPC-14 : 分散環境(2))
- 計算環境に依存しない行列計算ライブラリインタフェースSILC(一般講演2)
- ハミルトン偏微分方程式に対する解析力学的空間離散化法とその応用 (数値解析と数値計算アルゴリズムの最近の展開)
- オフライン自動チューニングの数理手法
- クリロフ部分空間法に対する前処理方式と収束判定について
- 1310 sinc関数近似によるラプラス実逆変換アルゴリズム(GS1-2 計算力学)
- 線形方程式求解に向けた前処理付きクリロフ部分空間法と収束判定に関する考察
- "Tea Time"はいかが?
- 特集「数値計算」にあたって
- 並列ソフトウェアのオンライン自動チューニングのためのBayes的手法
- 6K-3 並列実験による疎行列格納法のオンライン自動チューニング(情報爆発時代における並列分散処理技術,一般セッション,「情報爆発」時代に向けた新IT基盤技術,情報処理学会創立50周年記念(第72回)全国大会)
- 線形方程式求解アルゴリズムの実行データに対するクラスタリング技術の一適用
- とびらの言葉
- 3.ソフトウェア自動チューニングの数理(ソフトウェア自動チューニングを支える基盤,科学技術計算におけるソフトウェア自動チューニング)
- 頑健で効率的なオンライン自動チューニングのための統計モデル(HPC-7:自動チューニングII,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- 統計的パターン認識手法によるソフトウェア自動チューニングのための実験計画(HPC-3:自動チューニングI,2008年並列/分散/協調処理に関する『佐賀』サマー・ワークショップ(SWoPP佐賀2008))
- ヘテロ並列計算環境における性能指標(並列化と高速化)
- オンライン自動チューニングのためのBayes逐次実験計画の解析モデルによる性能評価(性能評価,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2008))
- オンライン自動チューニングのためのBayes逐次実験計画の解析モデルによる性能評価(性能評価,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2008))
- 自動チューニングにおける実験計画的手法を考慮した性能評価データ収集器の設計と実装(HPC-12 : 自動チューニングII)
- 並列・分散処理のためのスケジューリング理論(超ロバスト計算原理とモデリング・シミュレーション)
- 自動残差修正機能付き GBiCGSTAB$(s,L)$法 (科学技術計算アルゴリズムの数理的基盤と展開)
- Orszagの高速Legendre多項式変換法の改良
- Multi-master divisible loadの漸近最適スケジューリングの実機への実装(HPC-3: 科学技術計算)
- Multi-master divisible loadモデルに対する漸近最適スケジューリングの評価(ヘテロ型クラスタ)
- マルチクラスタ環境でのMMDL漸近最適スケジューリング(HPC-5 : 科学技術計算)(2004年並列/分散/協調処理に関する『青森』サマー・ワークショップ(SWoPP青森2004) : 研究会・連続同時開催)
- 高速球面調和関数変換ルーチン FLTSS(高性能計算及び一般)
- 実行時自動チューニングのための逐次実験計画 : 分散が共通な2つの正規分布の場合(Session 2:最適化)
- 導出過程に着目した前処理付きCGS法の適切なアルゴリズム
- GPGPUにおけるデータ転送とカーネル実行のヒューリスティックスケジューリング
- 自動チューニング数理基盤ライブラリATMathCoreLib
- ヘテロ並列計算環境のためのタスクスケジューリング手法のサーベイ(サーベイ)
- 汎用的なソフトウェア自動チューニング機構のための実験計画法の応用の検討(HPC-11 : 自動チューニング)
- 常微分方程式の数値解法I基礎編, E.ハイラー・S.P.ネルセット・G.ヴァンナー著, 三井斌友監訳, シュプリンガー・ジャパン, 2007年
- 知恵と勇気と自動チューニング
- 有限サイズのmulti-master divisible load問題に対する再分散スケジューリングアルゴリズム(負荷分散,「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- 有限サイズのmulti-master divisible load問題に対する再分散スケジューリングアルゴリズム(負荷分散, 「ハイパフォーマンスコンピューティングとアーキテクチャの評価」に関する北海道ワークショップ(HOKKE-2006))
- ヘテロ型クラスタのための2次元列ベース分割における通信スケジューリングと分割の最適化(ヘテロ型クラスタ)
- Multi-master divisible load modelにおける漸近最適スケジューリング(スケジューリング)
- 高速直交関数変換ルーチンFXTPACKの球面調和関数変換における高性能実装と性能評価(数値計算)
- 2次元列ベース分割によるヘテロ型クラスタのためのLU分解(HPC-7: 並列数値計算ライブラリ)
- ERXPP-数値ライブラリにより並列計算性能を簡易かつ適応的に引き出す方式の提案(科学技術計算)
- 高速球面調和関数変換法の安定性制御
- Bessel関数の零点を標本点に持つ数値積分公式が厳密な積分値を与える関数族 : Grozev-Rahmanの定理の別証
- Bessel関数を含む振動無限積分に対する数値積分公式
- 行列の条件数の推定方法の数値的評価
- k段飛ばし共役勾配法:通信を回避することで大規模並列計算で有効な対称正定値疎行列連立1次方程式の反復解法
- GPUにおけるダイバージェンス削減による高速化手法
- 相関を利用した自動チューニング数理手法
- GPUとGPGPUの概要
- 1. GPUとGPGPUの概要(GPUとその応用)
- 自動チューニング : 数理的手法によるソフトウェア高性能化 (次世代計算科学の基盤技術とその展開)
- 導出過程に着目したCGS法の前処理付きアルゴリズム