オンライン学習理論に基づく単純パーセプトロンのアンサンブル学習の解析(パターン認識)
スポンサーリンク
概要
- 論文の詳細を見る
符号関数を出力関数とするK個の非線形単純パーセプトロンによるアンサンブル学習を,統計力学的なオンライン学習の枠組みで議論する.統計的学習理論の目的の一つは汎化誤差を理論的に求めることである.そこで本論文ではまず,K個の生徒が多数決で統合出力を決定する場合の汎化誤差が教師と生徒の類似度と生徒間の類似度という二つの巨視的変数で計算できることを示す.次に,一般の学習則について,これらの巨視的変数のダイナミックスを記述する微分方程式を導出する.更に,よく知られているヘブ学習,パーセプトロン学習,アダトロン学習の三つの学習則について,この微分方程式を具体的に導出し,それらを解いた結果を用いて汎化誤差を数値的に求める.その結果,これら三つの学習則は「生徒の多様性維持」というアンサンブル学習との相性においてそれぞれ異なった性質を有しており,その観点でアダトロン学習が最も優れているという興味深い事実が明らかになる.
- 社団法人電子情報通信学会の論文
- 2004-07-01
著者
-
原 一之
都立高専
-
岡田 真人
理化学研究所 脳総研
-
三好 誠司
関西大システム理工
-
三好 誠司
電子工学科
-
岡田 真人
理化学研究所 脳科学総合研究センター
-
三好 誠司
神戸市立工業高等専門学校
-
原 一之
東京都立工業高等専門学校
関連論文
- 20pEA-4 ノードパータベーション学習の統計力学的解析(20pEA ニューラルネットワーク1(情報統計力学を含む),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 2.画像領域分割の確率モデルと脳の視覚情報処理(ビジョンコンピューティングにおける確率的情報処理の展開)
- 経路積分法によるリミットサイクルを持つ連想記憶モデルの解析
- 教師が非単調な場合のアンサンブル学習
- 共通ノイズによる局在興奮の確率共振
- 部分干渉除去によるマルチステージ検出器の性能改善(スペクトル拡散技術)
- A-5-16 統計神経力学を用いたCDMA線形並列干渉除去復調器の性能改善(A-5. ワイドバンドシステム)
- A-5-8 部分干渉除去によるマルチステージ検出器の性能改善
- 多段CDMAマルチユーザー復調器に対する密度発展法
- 小鳥の高次発声中枢における歌要素系列のポピュレーションコーディング(ニューラルネットワーク画像復元及び一般)
- オンライン学習における適応自然勾配法の評価
- 自然勾配法は多層パーセプロトンの隠れ層の相関に影響されない
- 顔の持つ多彩な情報の脳内表現と連想記憶モデル
- [特別講演]顔の持つ多彩な情報の脳内表現と連想記憶モデル(顔とジェスチャの認識)
- スパイクタイミング依存可塑性のLTPとLTDの非対称性が想起状態に与える影響
- 局所回路間の振動位相変化による相互作用の制御
- 時間非対称ヘブ学習によるシナプス効率の自己調節のメカニズム
- ノードパータベーション学習の統計力学(脳活動の計測と解析,生命現象の非線形性,一般)
- [特別講演]顔の持つ多彩な情報の脳内表現と連想記憶モデル(顔とジェスチャの認識)
- 小鳥の高次発声中枢における歌要素系列のポピュレーションコーディング
- ランダムなスパイク列と規則的なスパイク列を判別するための最適な指標の探索(生体情報科学)
- 局所的な分散表現を持つトポグラフィックマップ
- ノードパータベーション学習の統計力学(脳活動の計測と解析,生命現象の非線形性,一般)
- 自然勾配法は多層パーセプロトンの隠れ層の相関に影響されない
- ランダムさの異なる二つのスパイク列を判別するための最適な指標の探索(バイオサイバネティックス, ニューロコンピューティング)
- 20aEA-1 領域ベースの隠れ変数を用いた画像の分割と修復(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 領域ベースの隠れ変数と確率伝搬法を用いた画像領域分割 (情報論的学習理論と機械学習)
- パーシャルアニーリングの統計力学 : 相互作用がメキシカンハット型の場合(ハードウェア(2),ニューロハードウェア,一般)
- 22pVC-6 メキシカンハット型相互作用が時間変化する系のレプリカ解析II(22pVC 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25pRJ-14 シナプス荷重が時間変化するニューラルネットワークモデルの定常状態の解析III(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 26pTE-7 メキシカンハット型相互作用が時間変化する系のレプリカ解析(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21aTL-8 シナプス荷重が時間変化するニューラルネットワークモデルの定常状態の解析II(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21aTL-10 ソーラス符号のパーシャルアニーリング(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21aWA-4 確率的フィルタリングを用いたアンサンブル学習の統計力学(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21aWB-4 シナプス荷重が時間変化するニューラルネットワークモデルの定常状態の解析(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21pWB-1 擬似教師つき学習とアンサンブル学習(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21aWA-3 非線形パーセプトロンの時間方向アンサンブル学習 : ノイズがある場合の解析(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 30pUA-14 時間方向アンサンブル学習の解析 : 教師と生徒が線形な場合(30pUA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 教師が真の教師のまわりをまわる場合のオンライン学習
- 24aYB-6 教師が非単調な場合のアンサンブル学習(情報統計力学・ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 経路積分法によるリミットサイクルを持つ連想記憶モデルの解析(NC一般セッション(1))(認識と学習,模倣学習)
- 経路積分法によるリミットサイクルを持つ連想記憶モデルの解析(NC一般セッション(1))(認識と学習,模倣学習)
- 異なった入出力パターンのバイアスをもつ単純パーセプトロンの記憶容量(研究速報)
- シナプス過剰生成後の刈り込みによるシナプス効率増加の解析
- メキシカンハット型結合をもつSynfire Chainの理論(バイオサイバネティックス,ニューロコンピューティング)
- Mexican Hat型結合を持つSynfire Chainの解析
- 領域ベースの隠れ変数と確率伝搬法を用いた画像領域分割(IBIS2010(情報論的学習理論ワークショップ))
- パーセプトロンの直交射影学習と解領域の角度
- パーセプトロンの直交射影学習とその高速化に関する一検討
- 階層型ニューラルネットワークに適用したブロック直交射影学習の最適化
- リカレントニューラルネットワークによる自己想起 : SCSNAを用いた理論解析
- パーセプトロンの直交射影学習とその高速化に関する一検討
- 階層型ニューラルネットワークに適用したブロック直交射影学習の最適化
- 27pRD-9 実時間量子アニーリング法によるスピングラス基底状態の探索時間のスケーリング(27pRD スピングラス・ランダムスピン系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 24aYB-4 量子アニーリング法と二つのメカニズムについて(情報統計力学・ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 相関入力を用いた機械学習に関する統計力学的解析II
- 二段の動的過程を用いた誤り訂正 : レプリカ法による理論解析
- 26pTE-6 側頭葉をモデル化したアトラクターネットワークの双安定性 : パーシャルアニーリングの場合(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- オンライン学習の統計力学的解析
- 相関入力を用いた機械学習に関する統計力学的解析
- 経頭蓋磁気刺激の神経メカニズム : 反回性皮質回路網でのスパイク抑制
- 経頭蓋磁気刺激による知覚抑制効果のネットワークモデル
- 21aWA-5 エージェント数が任意な場合の相互学習(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- アンサンブル学習の統合機構と相互学習
- 29pXH-14 潜在的な教師のある相互学習の統計力学(29pXH ニューラルネットワーク(神経系のモデルを含む),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 潜在的な教師のある相互学習の統計力学
- 線形ウィークラーナーによるアンサンブル学習の汎化誤差の解析
- 14pTD-5 学習過程のノイズがパラレルブースティングに与える影響(情報統計力学, 領域 11)
- パラレルブースティングのオンラインラーニングの理論
- 28aWJ-10 パラレルブースティングのオンラインラーニングの理論
- マージンを用いた単純パーセプトロン学習法のオンラインラーニングの理論
- マージンを用いた単純パーセプトロン学習法のオンラインラーニングの理論
- 階層型連想記憶モデルにおける同期発火
- パルス結合されたResonate-and-Fireモデル(バイオサイバネティックス,ニューロコンピューティング)
- ランダムなスパイク列と規則的なスパイク列を判別するための最適な指標の探索
- パルス結合されたResonate-and-Fireモデル(「脳・認知科学」及び一般)
- 画像修復と誤り訂正符号の緩和過程
- 集団の意志決定に関する統計力学的解析
- 教師がコミティマシンの場合のアンサンブル学習(一般)
- 14pTD-4 教師がコミティマシンの場合のアンサンブル学習(情報統計力学, 領域 11)
- オンライン学習理論に基づく単純パーセプトロンのアンサンブル学習の解析(パターン認識)
- 21pTQ-1 オンライン学習理論に基づく非線形単純パーセプトロンのアンサンブル学習の解析
- オンライン学習理論に基づく単純パーセプトロンのアンサンブル学習の解析(統計的学習理論及び一般)
- 19pXL-6 密度行列繰り込み群による量子アニーリング法(スピングラス・ランダムスピン系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 側頭葉のアトラクターネットワークの双安定性
- 遅延と切断を有するニューラルネットワークによる連想記憶
- Syn-fire chainモデルの理論
- 相関のあるノイズ下での画像修復のハイパーパラメータ推定について
- 領域ベースの隠れ変数とビリーフプロパゲーションを用いた画像の修復と領域分割 (ニューロコンピューティング)
- 25pTD-11 非線形パーセプトロンを用いたノードパータベーション学習の統計力学(25pTD ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 28aTD-2 領域ベースの隠れ変数とBPを用いた画像の分割と修復(28aTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- [チュートリアル講演]アンサンブル学習(統計的学習理論及び一般)
- 学習の問題を統計力学で取り扱う:線形パーセプトロンのアンサンブル学習を一例として (特集 情報論的学習理論--機械学習のさまざまな形)
- リカレントニューラルネットワークによる系列想起 -統計神経力学を用いた理論解析-
- 22aGA-2 領域ベースの隠れ変数とBPを用いた画像の分割と修復(II)(22aGA 情報統計力学2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 領域ベースの隠れ変数とビリーフプロパゲーションを用いた画像の修復と領域分割(知的システム,一般)
- 非線形パーセプトロンのためのノードパータベーション学習の統計力学(ニューロコンピューティングの実装及び人間科学のための解析・モデル化,一般)
- スイッチング状態空間モデルと変分ベイズ法を用いた画像の修復と領域分割(ポスターセッション,第14回情報論的学習理論ワークショップ)
- 25aAG-12 ノードバータベーション学習の統計力学的解析II : 非線形パーセプトロンの場合(25aAG ニューラルネットワーク2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 29pXR-7 2つのノイズを用いたノードバータベーション学習(29pXR ニューラルネットワーク2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))