相関入力を用いた機械学習に関する統計力学的解析II

スポンサーリンク

概要

• 論文の詳細を見る

• Learning is to infer the underlying rules that dominate data generation using observed data. In this paper we theoretically obtain the generalization error of a model in which both a student and a teacher are linear perceptrons using the statistical mechanical method in the framework of on-line learning. In case of a gradient method, the condition which the learning rate should satisfy becomes strict as the correlation among inputs or the number of inputs used in an update becomes large. We propose block orthogonal projection learning rule as a new algorithm which in not effected by the correlation. The properties are analytically clarified.

• 神戸市立工業高等専門学校の論文

著者

• 三好 誠司

  関西大システム理工

• 三好 誠司

  神戸市立高専

• 三好 誠司

  電子工学科

• 三好 誠司

  神戸市立工業高等専門学校

• 積 千洋

  神戸市立工業高等専門学校専攻科電気電子工学専攻

• 松野 雅文

  株式会社富士通エフサス

関連論文

• 2.画像領域分割の確率モデルと脳の視覚情報処理(ビジョンコンピューティングにおける確率的情報処理の展開)
• 教師が非単調な場合のアンサンブル学習
• 20aEA-1 領域ベースの隠れ変数を用いた画像の分割と修復(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
• 領域ベースの隠れ変数と確率伝搬法を用いた画像領域分割 (情報論的学習理論と機械学習)
• パーシャルアニーリングの統計力学 : 相互作用がメキシカンハット型の場合(ハードウェア(2),ニューロハードウェア,一般)
• 22pVC-6 メキシカンハット型相互作用が時間変化する系のレプリカ解析II(22pVC 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
• 25pRJ-14 シナプス荷重が時間変化するニューラルネットワークモデルの定常状態の解析III(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
• 26pTE-7 メキシカンハット型相互作用が時間変化する系のレプリカ解析(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
• 21aTL-8 シナプス荷重が時間変化するニューラルネットワークモデルの定常状態の解析II(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
• 21aTL-10 ソーラス符号のパーシャルアニーリング(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
• 21aWA-4 確率的フィルタリングを用いたアンサンブル学習の統計力学(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
• 21aWB-4 シナプス荷重が時間変化するニューラルネットワークモデルの定常状態の解析(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
• 21pWB-1 擬似教師つき学習とアンサンブル学習(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
• 21aWA-3 非線形パーセプトロンの時間方向アンサンブル学習 : ノイズがある場合の解析(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
• 30pUA-14 時間方向アンサンブル学習の解析 : 教師と生徒が線形な場合(30pUA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
• 教師が真の教師のまわりをまわる場合のオンライン学習
• 24aYB-6 教師が非単調な場合のアンサンブル学習(情報統計力学・ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
• 領域ベースの隠れ変数と確率伝搬法を用いた画像領域分割(IBIS2010(情報論的学習理論ワークショップ))
• パーセプトロンの直交射影学習と解領域の角度
• パーセプトロンの直交射影学習とその高速化に関する一検討
• 階層型ニューラルネットワークに適用したブロック直交射影学習の最適化
• リカレントニューラルネットワークによる自己想起 : SCSNAを用いた理論解析
• パーセプトロンの直交射影学習とその高速化に関する一検討
• 階層型ニューラルネットワークに適用したブロック直交射影学習の最適化
• 相関入力を用いた機械学習に関する統計力学的解析II
• 二段の動的過程を用いた誤り訂正 : レプリカ法による理論解析
• 26pTE-6 側頭葉をモデル化したアトラクターネットワークの双安定性 : パーシャルアニーリングの場合(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
• オンライン学習の統計力学的解析
• 相関入力を用いた機械学習に関する統計力学的解析
• 集団の意志決定に関する統計力学的解析
• 教師がコミティマシンの場合のアンサンブル学習(一般)
• 14pTD-4 教師がコミティマシンの場合のアンサンブル学習(情報統計力学, 領域 11)
• オンライン学習理論に基づく単純パーセプトロンのアンサンブル学習の解析(パターン認識)
• 21pTQ-1 オンライン学習理論に基づく非線形単純パーセプトロンのアンサンブル学習の解析
• オンライン学習理論に基づく単純パーセプトロンのアンサンブル学習の解析(統計的学習理論及び一般)
• 基本パーセプトロンの等比学習とその収束条件
• ブロック直交射影アルゴリズムのブロックサイズ最適化
• 対称学習によるパターン分類の収束特性
• 神経学習における正規化LMSアルゴリズムの収束条件
• 基本パーセプトロンの等比学習とその収束条件および雑音特性
• 基本パーセプトロンの等比学習とその収束条件
• リカレントニューラルネットワークの確率的記憶容量
• 遅延素子を用いたリカレントニューラルネットワークによるリミットサイクルの記憶
• 遅延素子を用いたリカレントニューラルネットワークによるリミットサイクルの記憶
• 遅延と切断を有するニューラルネットワークによる連想記憶
• Syn-fire chainモデルの理論
• 領域ベースの隠れ変数とビリーフプロパゲーションを用いた画像の修復と領域分割 (ニューロコンピューティング)
• 28aTD-2 領域ベースの隠れ変数とBPを用いた画像の分割と修復(28aTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
• [チュートリアル講演]アンサンブル学習(統計的学習理論及び一般)
• リカレントニューラルネットワークによる系列想起 -統計神経力学を用いた理論解析-
• リカレントニューラルネットワークによる自己想起-SCSNAを用いた理論解析-
• 多層ニューラルネットワークのブロック直交射影学習
• 22aGA-2 領域ベースの隠れ変数とBPを用いた画像の分割と修復(II)(22aGA 情報統計力学2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
• 領域ベースの隠れ変数とビリーフプロパゲーションを用いた画像の修復と領域分割(知的システム,一般)
• スイッチング状態空間モデルと変分ベイズ法を用いた画像の修復と領域分割(ポスターセッション,第14回情報論的学習理論ワークショップ)
• 変分ベイズ法とMCMCを用いた画像の修復と領域分割(ポスターセッション,第14回情報論的学習理論ワークショップ)
• 27pAG-4 複層ベイズ超解像の大画像への適用(27pAG 情報統計力学2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
• 27pAG-3 スイッチング状態空間モデルと変分ベイズ法による画像の修復と領域分割(27pAG 情報統計力学2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))

もっと見る 閉じる

スポンサーリンク