強化学習を用いた自律移動型ロボットの行動計画法の提案
スポンサーリンク
概要
- 論文の詳細を見る
In a previous paper, we proposed a solution to navigation of a mobile robot. In our approach, we formulated the following two problems at each time step as discrete optimization problems: 1) estimation of position and direction of a robot, and 2)action decision. While the results of our simulation showed the effectiveness of our approach, the values of weights in the objective functions were given by a heuristic method. This paper presents a theoretical method using reinforcement learning for adjusting the weight parameters in the objective function that includes pieces of heuristic knowledge on the action decision. In our reinforcement learning, the expectation of a reward given to a robot’s trajectory is defined as the value function to maximize. The robot’s trajectories are generated stochastically because we used a probabilistic policy for determining actions of a robot to search for the global optimal trajectory. However, this decision process is not a Markov decision process because the objective function includes an action at the previous time. Thus, Q-learning, which is a conventional method of reinforcement learning, cannot be applied to this problem. In this paper, we applied Williams’s episodic REINFORCE approach to the action decision and derived a learning rule for the weight parameters of the objective function. Moreover, we applied the stochastic hill-climbing method to maximizing the value function to reduce computation time. The learning rule was verified by our experiment.
- 2001-11-01
著者
関連論文
- 非マルコフ決定過程における強化学習 : 特徴的適正度の統計的性質(モデル/理論,ソフトウェアエージェントとその応用論文)
- 非マルコフ決定過程における方策勾配法の一考察 : カーリングの事例
- 1D-6 方策勾配法を用いたサッカーエージェントの学習 : パス・レシーブ(ゲーム・ロボカップ,一般セッション,人工知能と認知科学)
- 2P1-S-022 方策勾配法を用いたフリーキック時の行動学習(ロボカップ2,生活を支援するロボメカ技術のメガインテグレーション)
- 1A1-N-028 方策勾配法を用いた運動方程式中のパラメータ学習 : 2ストーン系のカーリングゲーム(マルチエージェントロボットシステム,生活を支援するロボメカ技術のメガインテグレーション)
- 離散最適化問題としての自律移動型ロボットの走行誘導
- 方策こう配法を用いた行動学習 : 環境のダイナミクスと行動知識との分離
- マルチエージェント系における行動学習への方策こう配法の適用 : 追跡問題(分散協調とエージェント)
- マルチエージェント系における方策勾配法 : 追跡問題
- マルチエージェント系における方策勾配法 : 追跡問題
- 強化学習を用いた自律移動型ロボットの行動計画法の提案
- 方策勾配法における目的関数の合成と追跡問題への適用 (テーマ:知能・適応と社会,ネットワーク) -- (マルチエージェントシステム)
- F_004 方策こう配法を用いた行動学習 : 方策中での状態遷移確率の表現(F分野:人工知能・ゲーム)
- 入力パターンベクトルの分布に基づくクラス分類問題の分割法
- 方策勾配法を用いた自律移動型ロボットの行動計画法
- ノードコストを考慮した最短経路探索法とデータ構造
- ノードコストを考慮した最短経路探索法とデータ構造
- 離散最適化問題としての自律移動型ロボットの経路計画
- 状態の複数の抽象化による方策こう配法の高速化--トンネル状の障害物が存在する追跡問題への適用
- 状態の複数の抽象化による方策こう配法の高速化 : トンネル状の障害物が存在する追跡問題への適用(情報ネットワーク)
- マルチエージェントシステムにおける行動制御 : PSOにおける重み係数の強化学習(情報ネットワーク)
- ファジィ制御ルールにより表現された方策を持つ方策勾配法の導出
- 方策勾配法による局面評価関数とシミュレーション方策の学習