確率的入出力関係のPerceptronによる有限温度学習 : 出力ノイズモデルにおける最適温度
スポンサーリンク
概要
- 論文の詳細を見る
外部からの擾乱の下での学習においては、系に何らかの柔軟性が存在するほうが、効率の良い学習を行なうことができると期待される。この論文では、ギブスアルゴリズムによる確率的人出力関係のパーセプトロンによる学習の問題が、そのような例を与えることを示す。すなわち、統計力学的手法の一つであるレプリカ法を用いて、出力ノイズの場合に、汎化誤差が最小になる最適温度が存在することを示す。このような温度は、任意の例題数において存在し、安定なレプリカ対称解によって決定される。他方、それ以外のタイプのノイズにおいては、そのような温度は存在せず、漸近的振舞いはレプリカ対称性を1ステップ破る解によって決定される。我々は更に、学習曲線の漸近的表式を導き、それらが、誤り最小学習アルゴリズムにおける表式と完全に一致することを示す。
- 社団法人電子情報通信学会の論文
- 1997-06-19
著者
関連論文
- 20aEA-7 並進対称結合を持つ振動子系の巨視的引き込み状態(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 26pXD-2 相互作用がランダムな位相振動子の集団運動II(26pXD ニューラルネットワーク(神経系のモデルを含む),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 側頭葉をモデル化したアトラクターネットワークの安定性解析 : アトラクタの安定性と学習順番の関係(脳活動の計測と解析,生命現象の非線形性,一般)
- 免疫系ネットワークの力学系モデルの解析 (力学系理論と複雑系の数理)
- 18pRH-1 大自由度免疫ネットワークの生成
- Response to invasion by antigen and effects of threshold in an immune network dynamical system model with a small number of degrees of freedom
- 22aWH-5 免疫系の力学系モデルIV : 大自由度系への拡張
- 27aU-5 免疫学の力学系モデルIII : 緩く結合した小規模ネットワークのダイナミクス
- 26p-H-5 免疫系の力学系モデルII : 抗体間相互作用とクラスター構造
- 8a-YD-5 抗体系の力学モデル : 抗体間相互作用とクラスター構造
- メキシカンハット型相互結合を持つXYモデルの解析(一般,ニューロコンピューティングの実装とシステム化,一般)
- 25pTD-1 並進対称結合を持つ振動子系の巨視的引き込み状態II(25pTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- Perceptronの学習曲線 : 有限温度の場合
- 29a-E-8 二値選択問題における学習曲線のレプリカ計算II
- 2a-C-6 二値選択問題における学習曲線のレプリカ計算
- 25pQK-7 メキシカンハット型相互作用を有する位相振動子ネットワークの同期非同期転移II(ネットワーク一般・情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 30pTB-6 メキシカンハット型相互作用を有する位相振動子ネットワークの同期非同期転移(30pTB ネットワーク一般II,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- パーシャルアニーリングの統計力学 : 相互作用がメキシカンハット型の場合(ハードウェア(2),ニューロハードウェア,一般)
- 22pVC-6 メキシカンハット型相互作用が時間変化する系のレプリカ解析II(22pVC 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25pRJ-14 シナプス荷重が時間変化するニューラルネットワークモデルの定常状態の解析III(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 26pTE-7 メキシカンハット型相互作用が時間変化する系のレプリカ解析(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21aTL-8 シナプス荷重が時間変化するニューラルネットワークモデルの定常状態の解析II(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21aWB-4 シナプス荷重が時間変化するニューラルネットワークモデルの定常状態の解析(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21aWA-3 非線形パーセプトロンの時間方向アンサンブル学習 : ノイズがある場合の解析(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 30pUA-14 時間方向アンサンブル学習の解析 : 教師と生徒が線形な場合(30pUA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25pTD-6 Hopfield modelの学習と反学習の統計力学的研究(25pTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- トポロジカルな観点からの力学系の研究(モレキュール「多自由度の力学系と幾何学」,研究会報告)
- 20pWE-12 接合を考慮したゾウリムシの個体数変動モデルの研究II(20pWE 生物物理,領域12(ソフトマター物理,化学物理,生物物理))
- 25pRJ-9 拡散符号系列がスパースなCDMAマルチユーザー復調器の統計力学的解析(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 23aYD-10 接合を考慮したゾウリムシの個体数変動モデルの研究 : 未熟期と寿命の相関について(生物物理,領域12,ソフトマター物理,科学物理,生物物理)
- シグネチャ系列がスパースなCDMAモデルについての統計力学的解析
- 力学系モデルによる免疫応答の特徴の再現(第2回生物数学の理論とその応用)
- 24aYB-2 CDMAマルチユーザー復調器の統計力学的解析 : モンテカルロシミュレーション(情報統計力学・ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 14pTD-7 CDMA マルチューザー復調器の統計力学的解析 : 1RSB 解-II(情報統計力学, 領域 11)
- 30aWB-2 CDMAマルチユーザー復調器の統計力学的解析 : 1RSB解(情報統計力学)(領域11)
- 20pTQ-2 突然変異を考慮した免疫応答の力学系モデルの研究
- 26pTE-6 側頭葉をモデル化したアトラクターネットワークの双安定性 : パーシャルアニーリングの場合(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 側頭葉をモデル化したアトラクターネットワークの安定性解析 : アトラクタの安定性と学習順番の関係(脳活動の計測と解析,生命現象の非線形性,一般)
- パーセプトロンのノイズ有り学習(基研研究会「ニューラルネットワーク〜これからの統計力学的アプローチ〜」,研究会報告)
- 確率的入出力関係のPerceptronによる有限温度学習 : 出力ノイズモデルにおける最適温度
- 2. Chaosのひきこみ(京都大学理学部物理学第一教室,修士論文アブストラクト(1979年度))
- 28pTJ-12 側頭葉をモデル化したアトラクターネットワークの安定性の詳細解析2 : 学習順番によるアトラクタの安定性変化(28pTJ ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 21pVB-12 側頭葉をモデル化したアトラクターネットワークの安定性の詳細解析(21pVB ニューラルネット,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 19aYO-7 アトラクタニューラルネットワークモデルにおける多重安定状態のゆらぎの解析3 : 緩和過程の理論および数値計算(ニューラルネットワーク(神経系モデルを含む),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 24pYB-1 アトラクタニューラルネットワークモデルにおける多重安定状態のゆらぎの解析2 : Amitモデルの場合(ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- アトラクタニューラルネットワークモデルにおける多重安定状態の揺らぎの解析
- 13aTC-7 IT 野をモデル化した相関アトラクタの想起ダイナミクス(ニューラルネットワーク : 神経系のモデルを含む, 領域 11)
- 30p-B-6 神経回路網の相互作用空間とHebb則III
- 23pTP-12 相互作用がランダムな位相振動子の集団運動III(力学系,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 29pRD-1 相互作用がランダムな位相振動子の集団運動(29pRD 力学系(振動子,結合写像系,その他),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 30p-YJ-11 二層Perceptronの学習II
- 7p-YD-4 確率的入出力関係のパーセプトロンによる学習
- 7p-K-12 台形写像のファイゲンバウム定数
- 6p-YD-2 二層Perceptronの学習 : And Machine
- 26a-X-6 三角格子反強磁性体の動的帯磁率
- 側頭葉のアトラクターネットワークの双安定性
- 側頭葉のアトラクターネットワークの双安定性
- 28aTD-8 Hopfield modelの学習と反学習の統計力学的研究II(28aTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25pTD-3 メキシカンハット型相互結合を持つXYモデルの解析(25pTD ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 28aTD-1 レプリカ法による電子透かしモデルのRS解(28aTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25pYB-1 有限個の振動子と相互作用する位相振動子ランダムネットワークの同期非同期転移(力学系(振動子・その他),領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 時間依存相互作用を有する相互結合型ニューラルネットワークの相転移の研究
- 25a-H-8 二層Perceptronの学習III
- 2p-K-3 三角格子反強磁性体のIsing Kinetics II
- 三角格子反強磁性体のIsing Kinetics(第一回研究会 報告書「ランダム系の秩序化」,秩序化過程における協力と乱れ-その動力学的研究-)
- 私の計算(機)遍歴
- 13aTC-3 アトラクタニューラルネットワークモデルにおける多重安定状態のゆらぎの解析(ニューラルネットワーク : 神経系のモデルを含む, 領域 11)
- ニューラルネットワークにおけるノイズ有り学習問題の統計力学的研究
- 22aGA-6 波面再構成への情報統計力学的アプローチ(22aGA 情報統計力学2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 22pPSB-8 反学習項を入れたHopfield modelのstaticsとdynamics(22pPSB 領域11ポスターセッション,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 免疫系のネットワークの研究 : 力学系モデルによる解析
- 画像修復ありスペクトル拡散型電子透かしモデルの統計力学的評価(臨場感生成,ユニバーサルメディア,ディジタルエンタテインメント,一般)
- 反学習項を入れたHopfieldmodelのstaticsとdynamics(一般,複雑系とニューロコンピューティング)
- 側頭葉のアトラクターネットワークの多重安定性 : スパースコーディングの場合(ニューロH/W)
- 25aAG-10 XYスピンにおける自己相関型連想記憶モデルの解析 : 相関がある有限個の記憶パターンを学習した場合(25aAG ニューラルネットワーク2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 27aAG-7 反学習項を入れたHopfield modelのstaticsとdynamics II(27aAG 情報統計力学1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 反学習項を入れた Hopfield model の statics と dynamics