神経多様体の特異点と学習
スポンサーリンク
概要
- 論文の詳細を見る
多層パーセプトロンなどの神経回路網の全体を多様体として幾何学的に考察するとき, ここには階層構造に由来する特異点が本質的に含まれることがわかる. これには, 学習の遅滞, 精度の劣化など, 実際の多くの問題が関係している. 本稿は, 主に日本で発展している, 特異構造を含むモデルの統計的推論と学習のダイナミックスを取り扱い, その考え方を示し, 現在までに著者らが得ている研究の成果と構想について解説する.
- 日本神経回路学会の論文
- 2003-12-05
著者
-
甘利 俊一
理化学研究所脳科学総合研究センター
-
朴 慧暎
理化学研究所脳科学総合研究センター脳数理研究チーム
-
甘利 俊一
理化学研究所
-
朴 慧暎
理化学研究所 脳科学総合研究センター
-
尾関 智子
理化学研究所 脳科学総合研究センター
-
甘利 俊一
理化学研究所 脳科学総合研究センター
関連論文
- 情報幾何の新展開(1)多様体とダイバージェンス関数
- 特異モデルの学習理論(情報論的学習理論論文)
- 4-1 男女共同参画へのオマージュ(4. 最後は女性会員へのメッセージです, 女性会員に期待する)
- オンライン学習における適応自然勾配法の評価
- 自然勾配法は多層パーセプロトンの隠れ層の相関に影響されない
- 情報幾何の新展開(3)双対平坦なリーマン空間
- 情報幾何の新展開(4)確率分布族のつくる空間は双対平坦か--指数型分布族は美しい
- 21世紀における知のシステムのあり方 : そして知のシステム学会連合に向けて(第17回ファジィシステムシンポジウム)
- 情報幾何の新展開(2)凸関数の導くダイバージェンスとリーマン幾何
- 微分幾何と現代の科学技術 (特集 現代数学はいかに使われているか(幾何編))
- 理論脳科学の生い立ち : 神経回路学会創立20年を記念して
- 応用数理と私(フェロー)
- 脳機能の解明と脳型コンピューターの開発
- 独立成分分析と神経回路を巡って : 数理的なアプローチ
- 4. 脳と心の科学技術(1000号記念「夢・創・想・感」)
- 3.脳科学への期待(時代をひらく電子情報通信技術-技術がもたらした変革,そして更なる飛躍-)
- 情報幾何とその応用(脳化学2,数学者のための分子生物学入門-新しい数学を造ろう-)
- 神経回路網の基礎(脳化学2,数学者のための分子生物学入門-新しい数学を造ろう-)
- 情報幾何とその応用-IX : 独立成分分析
- 情報幾何とその応用 : VIII神経多様体における学習と特異モデル
- 情報幾何とその応用 : VII神経集団符号化と高次相互作用
- 情報幾何とその応用 : VI確率推論
- 情報幾何とその応用 : Vボルツマン機械とEMアルゴリズム
- 情報幾何とその応用 : IV : 時系列と線形システムの情報幾何
- 講座 情報幾何とその応用-III : 統計的推論の情報幾何
- 確率伝搬法の情報幾何 : 符号理論,統計物理,人工知能の接点
- 12pTB-3 平均場近似と情報幾何学 : 確率推論を中心に(主題 : 確率的情報処理の生み出す平均場理論の新展開, 領域 11)
- 情報幾何とその応用-II : 凸解析と双対平坦空間
- ブラインドセパレーション等による血管内エコー診断支援システムの実用化研究(第一報)
- セミパラメトリックモデルに基づいた盲信号復元
- α-平行事前分布とその性質
- 自然勾配法は多層パーセプロトンの隠れ層の相関に影響されない
- 私とシャノン
- Independent Component Analysis (ICA) and Method of Estimating Functions (5th Workshop on Stochastic Numerics)
- 脳の情報科学
- 世界脳週間参加報告
- データに基づく汎化誤差最小化による正則化項の設計
- 21世紀のみえる技術-情報科学の新しい方向-
- 汎化誤差最小化による正則化項の設計
- 正則化学習における汎化誤差の理論的検討
- パラレルブースティングによるカーネルマシンを用いたアンサンブル学習
- パラレルブースティングによるカーネルマシンを用いたアンサンブル学習
- NNSPワークショップ参加と同時多発テロの米国からの帰国
- 画像修復と誤り訂正符号の緩和過程
- 日本神経回路学会創立20周年記念パネルディスカッション
- シャノン理論の遺産と今後の展開
- 情報幾何の新展開(7)エントロピーとダイバージェンス--α,β,γダイバージェンス
- ターボ復号の情報幾何(情報論的学習理論論文小特集)
- Second bilateral German-Japanese Workshop on Computational Neuroscience 報告
- ターボ符号とGallager符号の情報幾何
- 神経多様体の特異点と学習
- 階層モデルにおける学習と推論 : 特異構造をもつ統計モデル(情報論的学習理論論文小特集)
- 「脳機能計測と生体信号入出力」のリレー解説にあたって
- 脳と数理(20周年記念)
- 情報幾何(電子情報通信と数学)
- 6. 脳への数理的アプローチ (非線形現象の不思議)
- 脳の科学--その新しい展開
- 理化学研究所脳科学総合研究センターにおけるNeuroinformaticsへの取り組み構想
- 忘れられた科学:数学と数理科学をめぐって (再考 数学へのまなざし)
- 脳科学の新世紀 日本における脳科学の危機
- 情報原理としての生命
- 脳とコンピュータ
- 情報幾何の新展開(9)微分幾何学早わかり(1)接空間をつなげば曲がった空間が復元する
- 情報幾何の新展開(8)統計的推論はなぜ情報幾何なの?
- 独立成分解析 : 多変量データの新しい分解法(聖徳太子をつくる技術)
- 情報源の学習分離と情報幾何-独立成分解析
- 情報幾何の新展開(10)微分幾何学早わかり(2)曲率,捩率と共変微分
- 情報幾何の新展開 : 脳と情報の数理科学(第16回)Neyman-Scott問題の解
- 情報幾何の新展開 : 脳と情報の数理科学(第15回)Neyman-Scott問題とセミパラメトリック統計
- 数学,数理科学,数理工学の展望 (特集 『数学セミナー』創刊50周年記念号 未来への宿題)
- 情報幾何の新展開 : 脳と情報の数理科学(第13回)統計的推論の高次漸近理論(2)曲指数型分布族における推論と曲率の役割
- 情報幾何の新展開 : 脳と情報の数理科学(第14回)統計的推論の高次漸近理論(3)統計的推論および局外母数モデル
- 情報幾何の新展開 : 脳と情報の数理科学(第17回)Tsallisのqエントロピー,エスコート幾何,共形幾何
- 情報幾何の新展開 : 脳と情報の数理科学(第11回)微分幾何学早わかり(3)双対接続の幾何
- 情報幾何の新展開 : 脳と情報の数理科学(第18回)システムと時系列の情報幾何
- 情報幾何の新展開 : 脳と情報の数理科学(第12回)統計的推論の高次漸近理論(1)指数型分布族と空間の埋め込み
- 情報幾何の新展開(6)平坦で不変なダイバージェンスは何か--KLダイバージェンスとαダイバージェンス
- 情報幾何の新展開(5)確率分布族と不変なダイバージェンス
- ニューラルネットワーク最新事情(1) : ニューラルネットワーク概論
- 私の応用数理遍歴 : 数理工学,情報幾何,脳の理論(応用数理の最前線)
- N. Wiener : Cybernetics or Control and Communication in the Animal and Machine(20世紀の名著名論)
- 自然勾配学習法-学習空間の幾何学
- 21世紀の脳科学 : 脳型情報処理と数学理論
- 脳を創る - CRESTプログラム
- 情報幾何の新展開 : 脳と情報の数理科学(第20回)機械学習の情報幾何(1)サポートベクトル機械
- 情報幾何の新展開 : 脳と情報の数理科学(第19回)クラスタリングの情報幾何 : 画像の分類,検索,認識
- 独立成分分析から,非負値行列因子分解,スパース信号解析へ(ブラインド信号処理,一般)