強化学習の並列型メタ学習 : 学習率の調整(人工知能, 認知科学)
スポンサーリンク
概要
- 論文の詳細を見る
強化学習に現れる学習率は一般にメタパラメータあるいはハイパパラメータと呼ばれており, その調整は一般に非自明である.特に環境が激変する場合調整が困難になりがちである.この研究の目的は激変する環境下におけるメタパラメータの一つである学習率を調整するアルゴリズム「並列型メタ学習」を提案し, いくつかの具体的なタスクでその有効性を検証することである.提案アルゴリズムでは異なる学習率をもつモデルを複数用意し, 各モデルがTD学習を行う.また各モデルは価値関数の分散の推定値を保持しており, 学習過程のステップごとにこの推定値が最小であるモデルがそのときの学習率として採用される.
- 2005-12-01
著者
-
松本 隆
早稲田大学先進理工学学術院 電気・情報生命工学科
-
松本 隆
早稲田大学大学院先進理工学研究科電気・情報生命専攻
-
松本 隆
Department Of Electronical Engineering Waseda University
-
松本 隆
Waseda University
-
田中 昭雄
早稲田大学大学院理工学研究科:独立行政法人科学技術振興機構
-
大家 淳二
早稲田大学理工学部電気・情報生命工学科,大学院理工学研究科電気・情報生命専攻
-
渡辺 亮平
早稲田大学大学院理工学研究科
-
松本 隆
早稲田大学大学院電気・情報生命専攻
-
渡辺 亮平
早稲田大学大学院理工学研究科:独立行政法人科学技術振興機構
-
大家 淳二
早稲田大学理工学部電気・情報生命工学科 大学院理工学研究科電気・情報生命専攻
-
阿知波 健
早稲田大学大学院理工学研究科電気・情報生命専攻
関連論文
- サンプリング技術を利用した文章類似性評価
- サンプリング技術を利用した文章類似性評価(文書分類・翻訳)
- ディリクレ過程事前分布言語モデルに対する事後確率最大化推定法(一般セッション2,複合現実感のためのパターン認識・理解)
- ベイズ学習の実装 : MCMC/SMC/DPEM(オーガナイズドセッション,コンピュータビジョンとパターン認識のための学習理論)
- ベイズ学習の実装 : MCMC/SMC/DPEM(オーガナイズドセッション1)
- ベイズ学習に基づく隠れマルコフモデルを用いたスポーツ映像解析におけるイベント検出(テーマ関連セッション2)
- オンライン手書き文字認識アルゴリズムRAV : Reparameterized Angle Variations
- ヒルクライミング法を用いた攻撃に強いオンライン署名認証アルゴリズム(研究速報)
- D-12-26 ベイズ的手法による動画像顔検出の高速化と高精度化(D-12. パターン認識・メディア理解,一般セッション)
- 多重ハイパーパラメータ正則化モデルとその応用について
- Maximum Evidence Nonlinear Time Series Prediction and Applications
- Maximum Evidence 時系列予測について
- 2F-4 文字入力支援システムDasherの日本語実装(インタフェースデザイン,一般セッション,インタフェース)
- ディリクレ過程事前分布EMアルゴリズムによる顔画像検出(一般セッション1,複合現実感のためのパターン認識・理解)
- GibbsBoost顔検出と映像監視業務への応用
- ヒストグラムを用いたピクセル生成モデルにもとづく逐次モンテカルロ動画像追跡(日本語セッション1,第二回日韓パターン認識ワークショップ(KJPR))
- I_017 逐次モンテカルロ動画像追跡 : 速度パラメータ,検索範囲の自動調整による精度向上(I分野:画像認識・メディア理解)
- I_008 GibbsBoostによる正面顔画像検出 : 事前情報を考慮するBayes的アプローチ(I分野:画像認識・メディア理解)
- C-12-42 2.5V CMOS Fully Differential Low Power High Linearity Analog Line-Driver
- C-12-43 A Constant Bandwidth CMOS VGA ckt.
- ベイズ学習の実装
- BT-7-1 ユーザ個人性を考慮し,AdaBoostを用いたユーザ共通型オンライン署名認証(BT-7.若手研究者によるバイオメトリックセキュリティの新提案,チュートリアルセッション,ソサイエティ企画)
- BT-7-2 動画像から抽出した特徴を用いたオンライン署名認証(BT-7.若手研究者によるバイオメトリックセキュリティの新提案,チュートリアルセッション,ソサイエティ企画)
- BT-7-3 ウェブカメラを用いたオンライン署名認証システムの実装(BT-7.若手研究者によるバイオメトリックセキュリティの新提案,チュートリアルセッション,ソサイエティ企画)
- 未知非線形系に対するオンライン変化検出手法 : 逐次モンテカルロ法を用いたベイズ的アプローチ(非線形問題)
- 自然逐次事前分布によるオンラインベイズ学習(情報理論)
- 動画像によるオンライン署名認証 : Sequential Monte Carloを用いたペン先追跡(パターン認識・メディア理解のための学習理論とその周辺)
- A-2-3 動的判別問題に対するオンラインベイズ学習への自然逐次事前分布の導入(A-2.非線形問題,一般講演)
- H-025 ベイズ的動画像顔検出における顔候補領域の逐次予測(H分野:画像認識・メディア理解)
- ハミルトニアンモンテカルロ法によるBayes的顔画像認識
- Bayes 的 Markov Chain Monte Carlo 顔画像認識
- Bayes的Markov Chain Monte Carlo顔画像認識(映像メディア及び一般)
- Bayes的Markov Chain Monte Carlo顔画像認識(映像メディア及び一般)
- クロスエントロピーを用いた複数移動物体追跡の高速化
- A-17-7 視覚障害者向けGPSナビゲーションシステムにおけるカメラと画像検索サイトを用いた歩行支援(A-17. ITS,一般セッション)
- LF_002 逐次学習型顔画像認識におけるSMCサンプル数の動的制御(F分野:人工知能・ゲーム)
- ベイズ隠れマルコフモデルを用いたスポーツイベント検出の高精度化(一般,顔・人物・ジェスチャ・行動)
- ベイズ隠れマルコフモデルを用いたスポーツイベント検出の高精度化(一般,顔・人物・ジェスチャ・行動)
- C-12-48 2次元DCTインテリジェントイメージセンサの試作
- C-12-32 S/H回路を用いたCMOSマッチフィルタの設計
- C-12-33 オフセット補償機能を持つ差動増幅器の試作
- C-12-24 オフセット補償機能を有するフローティングゲート付差動増幅器
- 3-3 エッジ検出用ビジョンチップの試作
- エッジ検出用インテリジェントイメージセンサチップの試作
- エッジ検出用インテリジェントイメージセンサチップの試作
- C-12-57 DCT演算画像フィルタプロトタイプチップの評価
- CMOS並列画像フィルタプロトタイプチップの評価
- 10-1 DTCも可能なアナログ演算回路のためのプロトタイプチップの評価
- フローティングゲートMOSを用いたResistive Fuseの実装(固体撮像とその関連技術)
- フローティングゲートを用いるアナログ積和演算回路のプロトタイプチップについて
- フローティングゲートを用いるアナログ積和演算回路の集積度について
- CMOSフローティングゲートResistive Fuseチップ
- フローティングゲートを用いるアナログ積和演算回路の演算精度向上について
- インテリジェントイメージセンサのためのフローティングゲートを用いる演算方式について(固体撮像とその関連技術)
- クロスエントロピーを用いた複数移動物体追跡の高速化
- 脳波SSVEP2値判別問題における逐次誤差率の評価 : ベイズ的逐次型学習によるSequential Monte Carlo実装
- 背景を考慮した Cross Entropy による高速な複数物体追跡
- A "Variable Capacitance" Circuit for Tuning Integrated Filters and Oscillators
- C-12-23 A 430MHz, -47.5dB THD, Single Transconductor, 5th-OrderLow-Pass Filter in a 0.5μm CMOS Process
- D-12-25 Bayesian MCMC オンライン署名照合
- C-12-43 有線 CDMA インターフェースシステムの検討
- C-12-33 CMOS スイッチトキャパシタ DC-DC コンバータ
- A-7-11 相対ペントラジェクトリーによるオンライン署名照合
- A 500MS/sec -54db THD Open-Loop CMOS Sample-and-Hold Stage
- C-12-25 A Highly Linear Open-Loop Full CMOS High-Speed Sample-and-Hold Stage
- D-12-64 隠れ変数を考慮したRBSMC法による自己位置地図同時推定(D-12.パターン認識・メディア理解,一般講演)
- D-8-10 有限差分確率近似法を用いたメタ強化学習(D-8.人工知能と知識処理,一般講演)
- D-8-9 変化検出機構内包モデルによるモンテカルロ自己位置推定の改良(D-8.人工知能と知識処理,一般講演)
- Sequential Monte Carlo による強化学習メタパラメータ調整
- 動的環境下の強化学習アルゴリズム : Sequential Monte Carlo とサンプル初期化
- ベイズ的非線形ダイナミカルシステムの再構成と予測 : Hybrid Monte Carlo(パターン認識)
- 階層ベイズ的ニューラルネットのモデル比較および予測分布 : 二次近似vs. MCMC
- D-12-18 署名照合アルゴリズムPPI
- Sequential Monte Carloによるインターネット・パケット伝送遅延時間予測(統計的学習理論及び一般)
- D-2-5 low-discrepancy 列を用いた Markov Chain Monte Carlo
- D-2-6 Sequential Monte CarloによるHyperparameterのOn-Line学習
- D-2-3 Rao-Blackwellised Sequential Monte Carloによるニューラルネットの学習
- D-12-44 ペン位置・筆圧・傾き情報を用いたオンライン署名照合
- 視覚前注意過程におけるテクスチャー境界検出モデル : 視聴覚技術
- オンライン手書き文字認識アルゴリズムRAVの筆順違い文字自動登録
- オンライン手書き文字認識アルゴリズムR.A.V.認識率を向上させるストローク位置対応の考慮
- 状態維持確率にポアソン分布を用いた一般化隠れマルコフモデルによる膜タンパク質構造予測
- 強化学習の並列型メタ学習 : 学習率の調整(人工知能, 認知科学)
- D-8-25 強化学習の並列モデルメタ学習による動的環境への適応(D-8. 人工知能と知識処理)
- D-2-18 遺伝的アルゴリズムを用いた強化学習メタパラメータの学習
- 顔のGaborウェーブレット特徴量の推定
- 21-9 顔面像認識システム「FAVRET」におけるデータベース獲得の自動化
- 顔の向き推定を目指したGabor wavelet特徴量の解析
- D-12-88 顔画像からの顔のポーズ推定方法
- 2次元連続区分線形同相写像におけるカオス的アトラクタの存在証明
- 2次元同相写像におけるトラッピング領域の存在証明
- ダイナミカルノイズに隠された力学系とその分岐構造の推定
- 非線形予測子パラメータ族によるカオス的時系列データの認識
- モンテカルロ法を用いたオンライン署名認証
- ユーザ共通Fusionモデルを用いたオンライン署名認証(パターン認識)
- ダイナミカルシステムの階層ベイズ的最小埋め込み次元推定(情報数学)
- D-12-24 ペン位置軌跡情報を用いた HMM On-line 署名照合
- D-2-4 Bayes 的 Sequential Monte Carlo 学習における Rao-Blackwellisation の効果
- 電子回路のカオス同期とマスキング
- 非線形ダイナミカルシステムの再構成と予測 : ベイズ的アプローチ