遅延と切断を有するニューラルネットワークによる連想記憶
スポンサーリンク
概要
- 論文の詳細を見る
相関型の連想記憶モデルではシナプスを切断するとシナプス1本当りの記憶容量が増大することが知られている.しかしその場合, ネットワーク全体の記憶容量は減少してしまう.この困難を解決するために我々は, 遅延シナプスを導入し, シナプス本数は一定にしながら, シナプスの結合率を小さくすることを提案する.本論文では, この方法の具体例として, 遅延結合とシナプス切断をもつ離散時間同期型モデルに関して議論する.モデルのダイナミックスを統計神経力学で理論的に取り扱い, 記憶容量に関する定量的な解析を行った.無作為切断と系統的切断の2通りのシナプス切断について解析を行った結果, そのいずれにおいても, シナプス総本数一定の条件下でシナプスの結合率を下げながら遅延段数を増すと記憶容量が増大することがわかった.また, その増大の傾向は, 無作為切断の場合よりも系統的切断の場合により顕著であることがわかった.これらの結果は計算機シミュレーションとの比較により検証された.更に得られた理論的な知見と脳内でのシナプスの過剰生成と刈込みに関する計算論的な意義について議論する.
- 社団法人電子情報通信学会の論文
- 2002-01-01
著者
-
岡田 真人
東大院新領域:理研脳総研
-
三好 誠司
関西大システム理工
-
三好 誠司
電子工学科
-
岡田 真人
科学技術振興事業団戦略的創造研究推進本業(さきがけ研究21)
-
三好 誠司
神戸高専電子工学科
-
岡田 真人
科学技術振興事業団
関連論文
- 20aEA-7 並進対称結合を持つ振動子系の巨視的引き込み状態(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 誘導運動による運動検出感度の向上と低下を説明する神経回路モデル(ヒトの行動とモデル,神経ダイナミクス,一般)
- 脳と情報の統計力学(第53回物性若手夏の学校(2008年度),講義ノート)
- 神経集団符号に基づく自然画像統計量の弁別(視聴覚技術,ヒューマンインターフェース)
- 2.画像領域分割の確率モデルと脳の視覚情報処理(ビジョンコンピューティングにおける確率的情報処理の展開)
- 20aEA-2 SCSNAによる電子透かしの評価(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25aQL-7 画像推定を伴う電子透かしの復号法(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 30pTF-4 元画像を考慮した電子透かしの復号法(30pTF 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 30pUA-6 非単調CDMAのSCSNAによる解析(30pUA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 13aTC-4 階層パターンを記憶した連想記憶モデルの相関ノイズによる状態遷移(ニューラルネットワーク : 神経系のモデルを含む, 領域 11)
- 相関ノイズを持つ連想記憶モデルにおけるアトラクタの確率遷移
- 教師が非単調な場合のアンサンブル学習
- 減衰シナプスをもつアトラクターネットワークの想起特性
- サル側頭葉顔細胞のVB法による混合正規分布解析
- サル側頭葉の顔細胞の集団ダイナミクス : MDSによる解析と連想記憶回路によるモデル化
- DS-3-5 スペクトル拡散型電子透かしの復号アルゴリズム(DS-3.マルチメディア情報ハイディング,シンポジウムセッション)
- ランダムなスパイク列と規則的なスパイク列を判別するための最適な指標の探索(生体情報科学)
- 2ニューロン系の多変量ARモデルに基づいた相互作用系解析
- 重複構造を有するコミュニティ抽出の統計力学的解析
- 非定常なスパイク列から隠れた構造を読み取る(脳のモデルと生物模倣情報処理2,生物模倣情報処理,機械学習,一般)
- 25pTD-1 並進対称結合を持つ振動子系の巨視的引き込み状態II(25pTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 統計神経力学と母関数法によるCDMAマルチユーザー復調の理論(情報物理学の数学的構造)
- ヒステリシスニューロンネットワークの統計力学的解析(機械学習,一般)
- 20aEA-1 領域ベースの隠れ変数を用いた画像の分割と修復(20aEA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 領域ベースの隠れ変数と確率伝搬法を用いた画像領域分割 (情報論的学習理論と機械学習)
- 25pQK-7 メキシカンハット型相互作用を有する位相振動子ネットワークの同期非同期転移II(ネットワーク一般・情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 30pTB-6 メキシカンハット型相互作用を有する位相振動子ネットワークの同期非同期転移(30pTB ネットワーク一般II,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- パーシャルアニーリングの統計力学 : 相互作用がメキシカンハット型の場合(ハードウェア(2),ニューロハードウェア,一般)
- 22pVC-6 メキシカンハット型相互作用が時間変化する系のレプリカ解析II(22pVC 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25pRJ-14 シナプス荷重が時間変化するニューラルネットワークモデルの定常状態の解析III(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 26pTE-7 メキシカンハット型相互作用が時間変化する系のレプリカ解析(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21aTL-8 シナプス荷重が時間変化するニューラルネットワークモデルの定常状態の解析II(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21aTL-10 ソーラス符号のパーシャルアニーリング(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21aWA-4 確率的フィルタリングを用いたアンサンブル学習の統計力学(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21aWB-4 シナプス荷重が時間変化するニューラルネットワークモデルの定常状態の解析(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21pWB-1 擬似教師つき学習とアンサンブル学習(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 21aWA-3 非線形パーセプトロンの時間方向アンサンブル学習 : ノイズがある場合の解析(情報統計力学,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- 30pUA-14 時間方向アンサンブル学習の解析 : 教師と生徒が線形な場合(30pUA 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 教師が真の教師のまわりをまわる場合のオンライン学習
- 24aYB-6 教師が非単調な場合のアンサンブル学習(情報統計力学・ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 経路積分法によるリミットサイクルを持つ連想記憶モデルの解析(NC一般セッション(1))(認識と学習,模倣学習)
- 領域ベースの隠れ変数と確率伝搬法を用いた画像領域分割(IBIS2010(情報論的学習理論ワークショップ))
- 20aRD-8 非単調系列連想記憶モデルのカオス現象の解析
- パーセプトロンの直交射影学習と解領域の角度
- パーセプトロンの直交射影学習とその高速化に関する一検討
- 階層型ニューラルネットワークに適用したブロック直交射影学習の最適化
- リカレントニューラルネットワークによる自己想起 : SCSNAを用いた理論解析
- パーセプトロンの直交射影学習とその高速化に関する一検討
- 階層型ニューラルネットワークに適用したブロック直交射影学習の最適化
- 量子アニーリングに伴う残留エネルギー(2004年度後期基礎物理学研究所研究会「モンテカルロ法の新展開3」,研究会報告)
- 視覚特性を考慮した装飾的フォトモザイク
- 相関入力を用いた機械学習に関する統計力学的解析II
- 二段の動的過程を用いた誤り訂正 : レプリカ法による理論解析
- 26pTE-6 側頭葉をモデル化したアトラクターネットワークの双安定性 : パーシャルアニーリングの場合(ニューラルネットワーク,領域11,統計力学,物性基礎論,応用数学,力学,流体物理)
- オンライン学習の統計力学的解析
- 相関入力を用いた機械学習に関する統計力学的解析
- 可解神経回路モデルと複雑なニューロンモデル(生体情報科学)
- 集団の意志決定に関する統計力学的解析
- 教師がコミティマシンの場合のアンサンブル学習(一般)
- 14pTD-4 教師がコミティマシンの場合のアンサンブル学習(情報統計力学, 領域 11)
- オンライン学習理論に基づく単純パーセプトロンのアンサンブル学習の解析(パターン認識)
- 21pTQ-1 オンライン学習理論に基づく非線形単純パーセプトロンのアンサンブル学習の解析
- オンライン学習理論に基づく単純パーセプトロンのアンサンブル学習の解析(統計的学習理論及び一般)
- 研究テーマ
- プラットフォームシミュレータの意義 : 可解神経回路モデルと複雑なニューロンモデル
- 遅延素子を用いたリカレントニューラルネットワークによるリミットサイクルの記憶
- 側頭葉のアトラクターネットワークの双安定性
- 側頭葉のアトラクターネットワークの双安定性
- 遅延と切断を有するニューラルネットワークによる連想記憶
- Syn-fire chainモデルの理論
- 領域ベースの隠れ変数とビリーフプロパゲーションを用いた画像の修復と領域分割 (ニューロコンピューティング)
- 28aTD-1 レプリカ法による電子透かしモデルのRS解(28aTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 25pTD-10 神経細胞の冗長性は学習速度を最大化する(25pTD ニューラルネットワーク,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 28aTD-2 領域ベースの隠れ変数とBPを用いた画像の分割と修復(28aTD 情報統計力学,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 神経細胞の冗長性は運動学習の速度を最大化する(一般及び雑音を有効利用する神経系やそのモデル)
- 経路積分法による系列想起モデルの想起過程
- 29pYD-4 経路積分法による非単調系列想起モデルの過渡現象の解析 : カオス的な状態遷移について
- 系列想起型連想記憶モデルにおける想起過程の厳密解
- 23aWD-1 系列想起型連想記憶モデルの経路積分法による過渡状態を含む厳密解と統計神経力学
- 31p-XC-1 スパースコーディングされた連想記憶モデルのダイナミクス
- 1対多の連合を行う連想記憶モデル : 到達不可能な平衡状態の存在について
- 26a-H-3 相関型連想記憶モデルのダイナミクスの性質
- 神経細胞の冗長性は運動学習の速度を最大化する(一般及び雑音を有効利用する神経系やそのモデル)
- 小特集編集にあたって
- スパイク間隔による埋め込みにおけるノイズの影響について
- 確率的情報処理と統計力学 様々なアプローチとそのチュートリアル(4)確率的情報処理としての移動体通信(3)脳の数学理論とCDMA通信方式
- [チュートリアル講演]アンサンブル学習(統計的学習理論及び一般)
- リカレントニューラルネットワークによる系列想起 -統計神経力学を用いた理論解析-
- リカレントニューラルネットワークによる自己想起-SCSNAを用いた理論解析-
- 多層ニューラルネットワークのブロック直交射影学習
- 22aGA-2 領域ベースの隠れ変数とBPを用いた画像の分割と修復(II)(22aGA 情報統計力学2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 22aGA-1 電子透かしモデルのレプリカ解析(22aGA 情報統計力学2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 領域ベースの隠れ変数とビリーフプロパゲーションを用いた画像の修復と領域分割(知的システム,一般)
- 画像修復ありスペクトル拡散型電子透かしモデルの統計力学的評価 (マルチメディア情報ハイディング・エンリッチメント)
- スイッチング状態空間モデルと変分ベイズ法を用いた画像の修復と領域分割(ポスターセッション,第14回情報論的学習理論ワークショップ)
- 変分ベイズ法とMCMCを用いた画像の修復と領域分割(ポスターセッション,第14回情報論的学習理論ワークショップ)
- 24aAG-8 神経細胞の冗長性は運動学習の学習速度を最大化する(24aAG ニューラルネットワーク1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 24aAG-5 スパースな局在興奮を持つ神経回路モデル(24aAG ニューラルネットワーク1,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 27pAG-4 複層ベイズ超解像の大画像への適用(27pAG 情報統計力学2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))
- 27pAG-3 スイッチング状態空間モデルと変分ベイズ法による画像の修復と領域分割(27pAG 情報統計力学2,領域11(統計力学,物性基礎論,応用数学,力学,流体物理))