パラレルブースティングのオンラインラーニングの理論
スポンサーリンク
概要
- 論文の詳細を見る
本発表では,パラレルブースティングをオンライン学習の枠組で議論する.学習機械を初期化する方法としては,各要素がランダムで互いに独立なベクトルを用意し,それを学習機械の結合荷重の初期値とする方法が一般的である.この場合は,結合荷重の発展方程式の対称性から,全ての時刻での学習機械間の結合荷重の相関は一様になる.今回は結合荷重の初期値の相関が一様でない場合に,相関の初期値の非一様性がどのように時間発展するかを解析し,さらに平均を求める際の重みがどのように時間発展するかを調べた.その結果,初期の生徒の結合荷重の長さが1,教師と生徒の結合荷重のオーバーラップおよび生徒同士の結合荷重の相関が任意のとき,最適な重荷は学習のすべての過程で一定となり,結合荷重の相関の初期値にだけに依存することがわかった.
- 社団法人電子情報通信学会の論文
- 2003-06-20
著者
関連論文
- 20pEA-4 ノードパータベーション学習の統計力学的解析(20pEA ニューラルネットワーク1(情報統計力学を含む),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 2.画像領域分割の確率モデルと脳の視覚情報処理(ビジョンコンピューティングにおける確率的情報処理の展開)
- 経路積分法によるリミットサイクルを持つ連想記憶モデルの解析
- 教師が非単調な場合のアンサンブル学習
- 共通ノイズによる局在興奮の確率共振
- 部分干渉除去によるマルチステージ検出器の性能改善(スペクトル拡散技術)
- A-5-16 統計神経力学を用いたCDMA線形並列干渉除去復調器の性能改善(A-5. ワイドバンドシステム)
- A-5-8 部分干渉除去によるマルチステージ検出器の性能改善
- 多段CDMAマルチユーザー復調器に対する密度発展法
- 小鳥の高次発声中枢における歌要素系列のポピュレーションコーディング(ニューラルネットワーク画像復元及び一般)
- オンライン学習における適応自然勾配法の評価
- 自然勾配法は多層パーセプロトンの隠れ層の相関に影響されない
- 顔の持つ多彩な情報の脳内表現と連想記憶モデル
- [特別講演]顔の持つ多彩な情報の脳内表現と連想記憶モデル(顔とジェスチャの認識)
- スパイクタイミング依存可塑性のLTPとLTDの非対称性が想起状態に与える影響
- 局所回路間の振動位相変化による相互作用の制御
- 時間非対称ヘブ学習によるシナプス効率の自己調節のメカニズム
- ノードパータベーション学習の統計力学(脳活動の計測と解析,生命現象の非線形性,一般)
- [特別講演]顔の持つ多彩な情報の脳内表現と連想記憶モデル(顔とジェスチャの認識)
- 小鳥の高次発声中枢における歌要素系列のポピュレーションコーディング
- ランダムなスパイク列と規則的なスパイク列を判別するための最適な指標の探索(生体情報科学)
- 局所的な分散表現を持つトポグラフィックマップ
- 樹状突起における電気的応答特性の推定
- スパイクレスポンスモデルの位相応答曲線
- ショウジョウバエ嗅覚回路におけるシナプス前抑制とシナプス後抑制の匂い弁別に対する違い
- マルコフ確率場モデルにおける確率伝播法をもちいたα波位相,振幅の同時推定
- 混合べルヌーイ分布を用いたクラスタリングによる連想記憶モデルの解析
- 階層的な記憶パターンを持つ自己相関型連想記憶モデルのPCAによる解析
- メキシカンハット型相互結合を持つXYモデルの解析(一般,ニューロコンピューティングの実装とシステム化,一般)
- 交換モンテカルロ法による反射スペクトルにおける複合吸収帯の推定(一般講演(物理現象と学習),機械学習とその応用)
- ノードパータベーション学習の統計力学(脳活動の計測と解析,生命現象の非線形性,一般)
- 自然勾配法は多層パーセプロトンの隠れ層の相関に影響されない
- 粒子フィルタによる細胞内カルシウム動態の推定
- 粒子フィルタによる細胞内Ca^動態の推定実データへの応用
- ランダムさの異なる二つのスパイク列を判別するための最適な指標の探索(バイオサイバネティックス, ニューロコンピューティング)
- パーシャルアニーリングの統計力学 : 相互作用がメキシカンハット型の場合(ハードウェア(2),ニューロハードウェア,一般)
- 22pVC-6 メキシカンハット型相互作用が時間変化する系のレプリカ解析II(22pVC 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 26pTE-7 メキシカンハット型相互作用が時間変化する系のレプリカ解析(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21pWB-1 擬似教師つき学習とアンサンブル学習(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 24aYB-6 教師が非単調な場合のアンサンブル学習(情報統計力学・ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 経路積分法によるリミットサイクルを持つ連想記憶モデルの解析(NC一般セッション(1))(認識と学習,模倣学習)
- 経路積分法によるリミットサイクルを持つ連想記憶モデルの解析(NC一般セッション(1))(認識と学習,模倣学習)
- 異なった入出力パターンのバイアスをもつ単純パーセプトロンの記憶容量(研究速報)
- シナプス過剰生成後の刈り込みによるシナプス効率増加の解析
- メキシカンハット型結合をもつSynfire Chainの理論(バイオサイバネティックス,ニューロコンピューティング)
- Mexican Hat型結合を持つSynfire Chainの解析
- 領域ベースの隠れ変数と確率伝搬法を用いた画像領域分割(IBIS2010(情報論的学習理論ワークショップ))
- 27pRD-9 実時間量子アニーリング法によるスピングラス基底状態の探索時間のスケーリング(27pRD スピングラス・ランダムスピン系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 24aYB-4 量子アニーリング法と二つのメカニズムについて(情報統計力学・ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 経頭蓋磁気刺激の神経メカニズム : 反回性皮質回路網でのスパイク抑制
- 経頭蓋磁気刺激による知覚抑制効果のネットワークモデル
- 樹状突起を逆伝搬する活動電位の神経間相互作用への影響(統計的学習理論及び一般)
- 21aWA-5 エージェント数が任意な場合の相互学習(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- アンサンブル学習の統合機構と相互学習
- 29pXH-14 潜在的な教師のある相互学習の統計力学(29pXH ニューラルネットワーク(神経系のモデルを含む),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 潜在的な教師のある相互学習の統計力学
- 線形ウィークラーナーによるアンサンブル学習の汎化誤差の解析
- 14pTD-5 学習過程のノイズがパラレルブースティングに与える影響(情報統計力学, 領域 11)
- パラレルブースティングのオンラインラーニングの理論
- 28aWJ-10 パラレルブースティングのオンラインラーニングの理論
- マージンを用いた単純パーセプトロン学習法のオンラインラーニングの理論
- マージンを用いた単純パーセプトロン学習法のオンラインラーニングの理論
- 動的結合振動子 : 動的相互作用による協力現象
- 階層型連想記憶モデルにおける同期発火
- パルス結合されたResonate-and-Fireモデル(バイオサイバネティックス,ニューロコンピューティング)
- ランダムなスパイク列と規則的なスパイク列を判別するための最適な指標の探索
- パルス結合されたResonate-and-Fireモデル(「脳・認知科学」及び一般)
- 画像修復と誤り訂正符号の緩和過程
- 日本神経回路学会創立20周年記念パネルディスカッション
- 教師がコミティマシンの場合のアンサンブル学習(一般)
- 14pTD-4 教師がコミティマシンの場合のアンサンブル学習(情報統計力学, 領域 11)
- オンライン学習理論に基づく単純パーセプトロンのアンサンブル学習の解析(パターン認識)
- 21pTQ-1 オンライン学習理論に基づく非線形単純パーセプトロンのアンサンブル学習の解析
- オンライン学習理論に基づく単純パーセプトロンのアンサンブル学習の解析(統計的学習理論及び一般)
- 19pXL-6 密度行列繰り込み群による量子アニーリング法(スピングラス・ランダムスピン系,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 側頭葉のアトラクターネットワークの双安定性
- 相関のあるノイズ下での画像修復のハイパーパラメータ推定について
- 25pTD-11 非線形パーセプトロンを用いたノードパータベーション学習の統計力学(25pTD ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 誤り訂正符合のナイーブ平均場近似
- デンドライトを逆伝搬する活動電位による双安定状態
- 一次聴覚野トノトピーの滑らかさと音刺激統計性の関係
- 神経細胞の冗長性は運動学習の速度を最大化する(一般及び雑音を有効利用する神経系やそのモデル)
- ラインプロセスを用いた樹状突起の膜抵抗分布の統計的推定
- マッチング則に従う意思決定の履歴依存性における指数フィルタ特性を説明するシナプス学習則
- シナプス可塑性を組み込んだ相関の理論
- シナプス抑圧を持つホップフィールドモデルの記憶容量
- 相関のあるノイズ下での画像修復のハイパーパラメータ推定について(パターン認識)
- 相関のあるノイズ下での画像修復のハイパーパラメータ推定について
- スパイク解析理論入門
- 対数線形モデルを用いたスパイク解析手法の統計力学
- スパイク高次相関と相関関数によるニューロン間相互作用の推定
- 対数線形モデルを用いたスパイク解析手法の統計力学
- 空間的な相関を持つノイズ下での画像修復
- 神経細胞の冗長性は運動学習の速度を最大化する(一般及び雑音を有効利用する神経系やそのモデル)
- 画像修復のナイーブ平均場近似 : 統計力学による解析
- [チュートリアル講演]アンサンブル学習(統計的学習理論及び一般)
- 学習の問題を統計力学で取り扱う:線形パーセプトロンのアンサンブル学習を一例として (特集 情報論的学習理論--機械学習のさまざまな形)
- 非線形パーセプトロンのためのノードパータベーション学習の統計力学(ニューロコンピューティングの実装及び人間科学のための解析・モデル化,一般)
- 25aAG-12 ノードバータベーション学習の統計力学的解析II : 非線形パーセプトロンの場合(25aAG ニューラルネットワーク2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 29pXR-7 2つのノイズを用いたノードバータベーション学習(29pXR ニューラルネットワーク2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))