大脳基底核-強化学習モデルによる線条体神経細胞活動の記録と予測
スポンサーリンク
概要
- 論文の詳細を見る
近年大脳基底核の計算モデルとしての強化学習が注目され、様々なモデルが提案されている。その中でもBartoは大脳基底核の入力部である線条体において行動選択を行うというモデルを提案している[4].これに対し銅谷は行動選択に用いられる報酬予測が線条体で表現されるというモデルを提案している[5]。我々は、この2仮説のどちらであるのかを検証するために、各行動ごとに報酬予測確率を変化できるような強化学習課題をサルに訓練し、線条体の神経活動を記録している。本報告の目的は、神経活動記録を行う前に、仮説に基づいて神経活動の予測を行い、どのような解析が可能であるのかを、計算論的モデルを通じて示すことである。その結果、提案タスクが、状態価値関数、行動価値関数、行動選択を分離可能であり、計算モデルが行動価値関数の競合によって行動が選択された場合の予測を与えることを示す。
- 2003-06-19
著者
-
木村 實
京都府立医科大学 神経生理学
-
銅谷 賢治
Atr脳情報研究所
-
鮫島 和行
ATR脳情報研究所
-
銅谷 賢治
奈良先端科学技術大学院大学情報科学研究科:沖縄科学技術研究基盤整備機構
-
鮫島 和行
玉川大学脳科学研究所
-
上田 康雅
京都府立医科大学神経生理学部門
-
上田 康雅
京都府立医科大学第二生理学教室
-
鮫島 和行
東京農工大学大学院工学研究科
関連論文
- モデルフリーとモデルベース戦略の課題依存的な選択(BCI/BMIとその周辺)
- 自由エネルギーを用いた強化学習による状態のタスク依存な集団符号化(一般,機械学習によるバイオデータマインニング・生命現象の非線形性,一般)
- 自然方策こう配法 : 平均報酬の自然こう配に基づく方策探索(人工知能,認知科学)
- 短-中-長期記憶形成モデルにおける海馬周辺領野のDynamicsについて
- 強化学習の基礎理論と応用
- 方策こう配法を用いた動的行動則の獲得 : 2足歩行運動への適用(画像認識,コンピュータビジョン)
- 動的行動則を用いた2足歩行の獲得(2足歩行ロボット1)
- 方策勾配法を用いた動的行動則の獲得 : 2足歩行運動への適用(「脳・認知科学」及び一般)
- 特集「意図研究のスペクトル」にあたって
- 脳内報酬情報処理に及ぼす知覚的暖昧性の影響
- 知覚確率が報酬予測誤差に及ぼす影響
- センサフィードバックを用いたCPG制御における環境ダイナミクスと観測の不確定性の影響
- 線条体における入力タイミングに依存するカルシウム応答モデル
- MOSAICモデルにより環境を抽象化する階層型強化学習(バイオサイバネティックス,ニューロコンピューティング)
- マルチエージェント環境における共通なシンボルの生成(脳・ヒューマンモデリング2, 脳・ヒューマンモデリング, 一般)
- 複数の状態予測と報酬予測モデルによる強化学習と行動目標の推定(バイオサイバネティックス,ニューロコンピューティング)
- ダイナミクスの線形性に基づいて状態空間を分割する階層型強化学習
- 遅延を伴う確率的報酬獲得課題におけるヒトの意思決定に関する研究(一般セッション3)
- 自然 TD 学習 : 割引報酬における TD 誤差を利用する自然方策勾配に基づいた強化学習法
- OB-06 ヒトにおける報酬関連脳活動と知覚的曖昧性(日本動物心理学会第68回大会発表要旨)
- 他エージェントの行動予測を利用したマルチエージェント強化学習法
- 観測軌道を基にした運動の最適化起立運動, 歩行運動への適用
- [招待論文]観測軌道を基にした運動の最適化 : 起立運動,歩行運動への適用(PRMU&NCテーマセッション(3) : 模倣学習)(認識と学習,模倣学習)
- [招待論文]観測軌道を基にした運動の最適化 : 起立運動,歩行運動への適用(PRMU&NCテーマセッション(3) : 模倣学習)(認識と学習,模倣学習)
- 階層型強化学習を用いた3リンク2関節ロボットによる起立運動の獲得
- 強化学習と最適制御(「システム制御理論の新領域特集号」)
- ロバスト強化学習
- 強化学習を用いた高次元連続状態空間における系列運動学習 : 起き上がり運動の獲得
- 強化学習による起き上がり運動パターンの獲得
- 線条体シナプス可塑性の分子機構のシミュレーション研究(セッション3:『バイオモデリング,シミュレーション』)
- 生化学反応系のためのベイズ的システム同定法(機械学習によるバイオデータマイニング)
- 生化学反応系のためのベイズ的システム同定法(機械学習によるバイオデータマインニング)
- 混合カルマンフィルタによる隠れ状態推定法 : Cyber Rodentの自己位置同定への応用
- 行動学習データの強化学習モデルによる解析とその応用
- 行動学習データの強化学習モデルによる解析とその応用(コミュニケーション支援及び一般)
- 行動学習データの強化学習モデルによる解析とその応用(コミュニケーション支援及び一般)
- モジュール強化学習と意図(意図研究のスペクトル)
- 報酬依存性動作制御と大脳基底核 (第1土曜特集 脳科学の先端的研究--遺伝子から高次機能まで) -- (高次機能)
- 複数報酬のもとでの階層強化学習
- 淡蒼球内節/黒質網様部の強化学習による確率的行動選択(一般)(ニューロインフォーマティックスとは何か)
- 淡蒼球内節/黒質網様部の強化学習による確率的行動選択
- 大脳基底核-強化学習モデルによる線条体神経細胞活動の記録と予測
- 行動決定系列からの学習系の内部状態/パラメータ系列の推定
- 複数の状態予測と報酬予測モデルによる強化学習と行動目標の推定
- 大脳基底核と強化学習 (強化学習とその周辺)
- 強化学習と大脳基底核(運動学習)
- 複数の予測モデルを用いた強化学習による非線形制御
- 強化学習MOSAIC : 予測性によるシンボル化と見まね学習
- NC2000-48 複数モデルベース強化学習におけるモジュール間の評価割り付け
- 局所線形モデルに基づく状態分割を用いた階層強化学習
- 強化学習における適応的状態空間構成法
- 神経情報科学サマースクール報告
- 神経情報科学サマースクール(NISS)2003報告神経情報科学サマースクール2003経過報造
- 報酬、脳と社会
- 大脳基底核の運動制御メカニズム
- 視床線条体系による大脳皮質基底核ループ機能のモニターと切り替え (特集 脳の深部を探る)
- 〔総説〕大脳皮質基底核系の機能研究
- 大脳基底核と手の運動の強化学習 (特集 手の運動の制御と学習)
- 脳の世紀への手紙(第10回)運動計画と大脳基底核
- 大脳基底核と強化学習
- 運動の学習と記憶の神経機構(第47回大会キーノートレクチャー : 運動生理学)
- 運動の学習と記憶の神経機構
- 運動学習における黒質線条体系の役割 (大脳基底核)
- NISSからOCNC, ASCONEへ
- 神経情報科学サマースクールNISS2003講義録 : 脳の局所回路の計算機構
- 神経情報科学サマースクールNISS2000報告
- 神経情報科学サマースクール NISS99 報告
- 意思決定と行動学習の数理モデル (特集 学習と記憶--基礎と臨床)
- モジュール競合による運動パターンのシンボル化と見まね学習
- 強化学習における分割による自律的状態空間構成法
- 神経スパイク列からのモデルベースシナプス同定法 (ニューロコンピューティング)
- 行動の学習と記憶における大脳基底核の機能 (特集 プロジェクト研究)
- 線形ベルマン方程式に基づくロボット制御 : システム同定と指数価値関数近似
- ASCONE実施報告
- 神経スパイク列からのモデルベースシナプス同定法(合同企画セッション:バイオデータマイニング,機械学習によるバイオデータマインニング,一般)
- 制限付きボルツマンマシンとエコーステートネットワークによる部分観測マルコフ決定問題の解法(一般講演,機械学習によるバイオデータマインニング,一般)
- 運動学習に伴う線条体ニューロンの活動の変容におけるドパミン系とGABA系の役割
- ASCONE06 開催報告
- NIPS*2003 参加報告
- 運動-視覚ダイナミクス学習と線形ベルマン方程式によるロボット制御
- 第5回神経情報処理国際会議(ICONIP'98-Kitakyushu)