複数制御器の切り換えを行う強化学習アーキテクチャによるドライバモデル

概要

論文の詳細を見る
本研究では,ある制御対象において連続値出力を行う複数の制御器が存在するときに,それらの切り換えと制御出力を学習する強化学習アーキテクチャを提案する.制御器切り換えの学習にはQ-learningを用い,制御出力はActor-Criticで獲得する.そして,このアーキテクチャを自動車の速度・車間距離制御タスクに適用し,シミュレーション実験を行った結果について述べる.実験では車両二台による追従走行を想定する.このタスクにはアクセルペダルとブレーキペダルの選択及びペダル踏み込み量を決定するという問題が含まれている.実験の結果より,前方を走行する先行車の速度変化に応じて,学習を行う追従車はペダル選択と操作量を決定し,追突することなく走行できることを確認した.また,この制御方式では複数強化学習器の切り換えを実現したが,この切り換えの効果を単一のActor-Criticモデルと比較し考察する.さらに,提案アーキテクチャで獲得した行動の運転特性が人間による運転と類似していることを示す.
2002-12-06