教師が非単調な場合のアンサンブル学習
スポンサーリンク
概要
- 論文の詳細を見る
アンサンブル学習の大きな特徴として, 多数決などで生徒を組み合わせることにより, 単一の生徒では表現できない入出力関係を実現できることがあげられる.その意味で, 教師が生徒一個のモデル空間内にないような場合のアンサンブル学習の解析は非常に興味深い.そこで本論文では, 教師が非単調なパーセプトロンであり生徒が単純パーセプトロンである場合のアンサンブル学習を統計力学的なオンライン学習の枠組みで議論する.メトロポリス法により汎化誤差を計算した結果, ヘブ学習では学習の初期においてアンサンブルの効果があるものの, やがて生徒の多様性がなくなりアンサンブルの効果も消滅してしまうことがわかった.これに対し, パーセプトロン学習では生徒の多様性は消滅せず, そのために十分時間が経過した後でもアンサンブルの効果が残ることがわかった.
- 2005-03-23
著者
-
岡田 真人
東京大学大学院 新領域創成科学研究科
-
原 一之
都立高専
-
岡田 真人
東大院新領域:理研脳総研
-
三好 誠司
関西大システム理工
-
三好 誠司
電子工学科
-
三好 誠司
神戸市立工業高等専門学校
-
原 一之
東京都立工業高等専門学校
関連論文
- 平滑化事前分布を用いた変動2値情報源の事後確率最大化法(研究速報)
- 誘導運動による運動検出感度の向上と低下を説明する神経回路モデル(ヒトの行動とモデル,神経ダイナミクス,一般)
- 画像領域分割の確率モデルと脳の視覚情報処理 (小特集 ビジョンコンピューティングにおける確率的情報処理の展開)
- IT野ニューロン集団の時間相関を取り入れたクラスタリング
- 混合ベルヌーイ分布を用いたクラスタリングによる連想記憶モデルの解析 (ニューロコンピューティング)
- 粒子フィルタによる細胞内Ca[2+]動態の推定--実データへの応用 (ニューロコンピューティング)
- 位相応答曲線における神経細胞の不応期の影響(脳活動の計測と解析,生命現象の非線形性,一般)
- 非線型状態空間モデルを用いた細胞内カルシウムイオン濃度の推定
- 高次摂動展開による神経振動子のSpike Triggered解析
- 細胞外電場負荷に対するシリンダーケーブルの膜電位変化の数理解析II
- 離散的かつ連続的な情報表現を持つ神経回路モデル(ニューロハードウェア,一般)
- Spike Response Modelの位相応答曲線
- 位相応答曲線の測定と周期外力下でのスパイク間隔分布の予測
- 分布定数型カルマンフィルタを用いた樹状突起膜電位の時空間分布の推定
- パワー拘束条件下での位相応答曲線の推定
- 細胞の摂動応答を用いた樹状突起先端部における膜比抵抗の推定
- 膜比抵抗の急峻な変化による樹状突起上の信号伝播の向上(ニューラルネットワーク画像復元及び一般)
- 膜比抵抗の急峻な変化による樹状突起上の信号伝播の向上
- 海馬CA1錐体細胞の樹状突起遠位部における膜比抵抗の急峻な低下
- 海馬CA1錐体細胞の膜抵抗分布の推定(NCとのテーマセッション : 海馬の情報処理 : 非線形現象とニューロコンピューティング)
- 海馬CA1錐体細胞の膜抵抗分布の推定(テーマセッション : 海馬の情報処理 : 非線形現象とニューロコンピューティング)
- 神経集団符号に基づく自然画像統計量の弁別(視聴覚技術,ヒューマンインターフェース)
- 領域ベース結合MRFモデルによる大局的画像領域分割とCMOS回路実現
- 2.画像領域分割の確率モデルと脳の視覚情報処理(ビジョンコンピューティングにおける確率的情報処理の展開)
- 共通入力による連想記憶モデルの分岐を含む系列の想起(ニューラルネットワーク画像復元及び一般)
- 隠れマルコフモデルの変分ベイズ学習による神経活動パターンの抽出(一般(ベイズ法など),脳インタフェースの技術と応用,一般)
- ヘブシナプスを持つH-H系のレート縮約(ニューラルネットワーク画像復元及び一般)
- 側頭葉をモデル化したアトラクターネットワークの安定性解析 : アトラクタの安定性と学習順番の関係(脳活動の計測と解析,生命現象の非線形性,一般)
- Information divergences in local variational approximation of Bayesian posterior distribution (ニューロコンピューティング)
- 側頭葉ニューロン集団の 1 試行活動からの視覚刺激情報の抽出
- 教師が非単調な場合のアンサンブル学習
- ショウジョウバエ第一次嗅覚中枢における非線形変換と局所介在ニューロンの役割(学習,生体モデル,神経ダイナミクス,一般)
- 一次視覚野情報からの画像再構築
- 並進対称なフィルタの下でのベイズ的に最適な画像再構成(一般(ベイズ法など),脳インタフェースの技術と応用,一般)
- 興奮性-抑制性ネットワークにおけるシナプス減衰の機能的役割
- 減衰シナプスをもつアトラクタネットワークの想起特性(バイオサイバネティックス,ニューロコンピューティング)
- スパイクタイミング依存可塑性のLTPとLTDの非対称性が想起状態に与える影響
- 時間非対称ヘブ学習によるシナプス効率の自己調節のメカニズム
- マルコフ確率場モデルにおける確率伝播法をもちいたα波位相,振幅の同時推定 (ニューロコンピューティング)
- どのモデルが発火率のダイナミクス,滑らかさを適切に記述するか?(ヒトの行動とモデル,神経ダイナミクス,一般)
- 計算論的神経科学への統計力学的アプローチ : 一次視覚野モデルを用いて(BCI/BMIとその周辺,一般)
- Bayes推定を用いたRadon変換画像の再構成(イメージング)
- Bayes推定を用いたRadon変換画像の再構成 (医用画像)
- ノードパータベーション学習の統計力学(脳活動の計測と解析,生命現象の非線形性,一般)
- 集団符号化における相転移
- 平滑化事前分布を用いた変動2値情報源の事後確率最大化法
- DS-3-5 スペクトル拡散型電子透かしの復号アルゴリズム(DS-3.マルチメディア情報ハイディング,シンポジウムセッション)
- 変分ベイズ法における確定的アニーリング
- 多様体学習を用いた近似contour treeプロット(セッション4:可視化)
- 階層的な記憶パターンを持つ自己相関型連想記憶モデルのPCAによる解析 (ニューロコンピューティング)
- 位相応答曲線における神経細胞の不応期の影響(脳活動の計測と解析,生命現象の非線形性,一般)
- 樹状突起における電気的応答特性の推定
- スパイクレスポンスモデルの位相応答曲線
- 2ニューロン系の多変量ARモデルに基づいた相互作用系解析
- 小鳥の複雑な歌系列生成に関わる神経回路網のモデル化
- ショウジョウバエ嗅覚回路におけるシナプス前抑制とシナプス後抑制の匂い弁別に対する違い
- 非定常なスパイク列から隠れた構造を読み取る(脳のモデルと生物模倣情報処理2,生物模倣情報処理,機械学習,一般)
- マルコフ確率場モデルにおける確率伝播法をもちいたα波位相,振幅の同時推定
- 混合べルヌーイ分布を用いたクラスタリングによる連想記憶モデルの解析
- 階層的な記憶パターンを持つ自己相関型連想記憶モデルのPCAによる解析
- メキシカンハット型相互結合を持つXYモデルの解析(一般,ニューロコンピューティングの実装とシステム化,一般)
- 大システム極限での厳密なDS-CDMAマルチステージ検出器の性能評価
- 統計神経力学と母関数法によるCDMAマルチユーザー復調の理論(情報物理学の数学的構造)
- 集積回路実装に向けた大局的画像領域分割のための領域ベース結合MRFモデルのパラメータ制御(ニューロコンピューティングの実装とシステム化,ニューロコンピューティングの実装とシステム化,一般)
- 交換モンテカルロ法による反射スペクトルにおける複合吸収帯の推定(一般講演(物理現象と学習),機械学習とその応用)
- 興奮性-抑制性ネットワークにおけるシナプス減衰の機能的役割
- 事後分布の局所変分近似における分布間の情報量について
- 転送行列法を用いた発火率推定(機械学習,一般)
- Truncated Gaussianモデルを用いた画像修復(生体信号の計測と解析,一般)
- ノードパータベーション学習の統計力学(脳活動の計測と解析,生命現象の非線形性,一般)
- リファレンスにノイズが乗った場合のノードパータベーション学習(確率モデル,統計,学習,神経ダイナミクス,一般)
- ネオコグニトロンによる視覚腹側経路のモデル化
- 粒子フィルタによる細胞内カルシウム動態の推定
- 粒子フィルタによる細胞内Ca^動態の推定実データへの応用
- 1.座談会 ニューロコンピューティング研究から生まれたもの(ニューロコンピューティング研究の歴史とその将来)
- パーシャルアニーリングの統計力学 : 相互作用がメキシカンハット型の場合(ハードウェア(2),ニューロハードウェア,一般)
- 教師が真の教師のまわりをまわる場合のオンライン学習
- 経路積分法によるCDMA軟判定マルチユーザ検出法の解析
- 最適視点計算を用いた絵画における多視点描画の再現
- 領域ベースの隠れ変数と確率伝搬法を用いた画像領域分割(IBIS2010(情報論的学習理論ワークショップ))
- 対数線形モデルを用いたスパイク解析モデルの統計力学
- スパイク間隔による埋め込みの拡張について
- 量子アニーリングに伴う残留エネルギー(2004年度後期基礎物理学研究所研究会「モンテカルロ法の新展開3」,研究会報告)
- NEURON シミュレータによるモデルと理論の共有 : 樹状突起の理解へ向けて
- 細胞の動態から回路網の動態へ : NEURON シミュレータによる仮想生理実験
- 細胞の動態から回路網の動態へ : NEURONシミュレータによる仮想生理実験
- 視覚特性を考慮した装飾的フォトモザイク
- 可解神経回路モデルと複雑なニューロンモデル(生体情報科学)
- 変分ベイズ法による混合指数型分布を用いたクラスタリング法(一般(ベイズ法など),脳インタフェースの技術と応用,一般)
- アンサンブル学習の統合機構と相互学習
- 潜在的な教師のある相互学習の統計力学
- 階層型連想記憶モデルにおける発火相関(バイオサイバネティックス, ニューロコンピューティング)
- 側頭葉をモデル化したアトラクターネットワークの安定性解析 : アトラクタの安定性と学習順番の関係(脳活動の計測と解析,生命現象の非線形性,一般)
- 集積回路化を目指した大局的画像領域分割のための領域ベース結合MRFモデル
- 非一様な入力空間に対する局所的分散表現を持つ自己組織化マップ
- アトラクタニューラルネットワークモデルにおける多重安定状態の揺らぎの解析
- 28aWB-3 側頭葉をモデル化したアトラクターネットワークの双安定性(神経系)(領域11)
- スパースコーディングされた連想記憶モデルにおける対称混合状態
- スパースコーディングは記憶パターンの同期伝播を促進する
- Fokker-Planck方程式を用いた連想記憶型synfire chainの解析