複利型強化学習の枠組みと応用
スポンサーリンク
概要
- 論文の詳細を見る
本論文では,強化学習において複利リターンを最大化する複利型強化学習の枠組みを示し,ファイナンス分野のタスクへの応用例を示す.複利型強化学習は,報酬の代わりにリターンがマルコフ性を満たすリターン型MDPを対象とする.複利型強化学習では,二重指数的割引と投資比率の概念を導入し,対数をとることによって従来の強化学習と同様の方法で割引複利リターンを最大化する.続いて,従来の強化学習のアルゴリズムであるQ学習とOnPSを複利型に拡張した複利型Q学習と複利型OnPSのアルゴリズムを示す.また,3本腕バンディット問題に対する実験結果と日本国債取引問題への応用例を示し,複利型強化学習の有効性を確認する.
- 2011-12-15
著者
-
和泉 潔
産業技術総合研究所
-
後藤 卓
三菱東京UFJ銀行
-
松井 藤五郎
中部大学 生命健康科学部, 工学部
-
松井 藤五郎
東京理科大学理工学部
-
和泉 潔
東京大学大学院工学系研究科&jstさきがけ
-
和泉 潔
東京大学|科学技術振興機構さきがけ研究21
-
松井 藤五郎
中部大学
関連論文
- ネットワーク分析によるSNSの成長判別(「社会的インタラクションにおける知」及び一般)
- 人工市場シミュレーションからサービスへ(「エージェント基礎」及び一般)
- カブロボへの招待 : 人工知能を用いた株式取引
- F-027 ベイジアンフィルタとユーザ認証を組み合わせたspamメールフィルタリング(人工知能・ゲーム,一般論文)
- 交通流における経路情報の共有に基づいた経路選択の効果の検証(社会システムにおける知能 : 実環境におけるマルチエージェント社会)
- 交通流における経路情報の共有に基づいた経路選択の効果の検証(社会システムにおける知能(実環境におけるマルチエージェント社会))(「社会システムにおける知能」及び一般)
- X-Economyシステムによる電力市場のモデル化とその実装
- 人工市場とテキストマイニングの融合による市場分析
- テキストマイニングによる金融市場の月次動向分析(社会システムと知能)
- 経済学的合理性とエージェントシミュレーション
- テキストマイニングによる金融市場の月次動向分析(社会システムと知能)
- 相場付きとリスク選好が投資行動に与える影響の分析(社会システムにおける知能,「社会システムにおける知能」および一般)
- 相場付きとリスク選好が投資行動に与える影響の分析(社会システムにおける知能,「社会システムにおける知能」および一般)
- X-Economyシステムによる電力市場のモデル化とその実装
- アクティブRFIDを用いた展示館来場者の館内滞在傾向の分析(セッション3:実空間におけるモデル化とシミュレーション)
- アクティブRFIDを用いた展示館来場者の館内滞在傾向の分析(セッション3:実空間におけるモデル化とシミュレーション,社会システムと知能)
- 愛・地球博グローバル・ハウス統合情報支援システム : CONSORTSアーキテクチャによる情報提供・会場運営支援システム
- H-034 マルチドメインを持つ遠縁な相同タンパク質の検出手法(H分野:生体情報科学)
- 安心空間設計のための移動データ解析とシミュレーション手法の統合(セッション3:実空間におけるモデル化とシミュレーション)
- 安心空間設計のための移動データ解析とシミュレーション手法の統合(セッション3:実空間におけるモデル化とシミュレーション,社会システムと知能)
- 情報インフラに基づくグラウンディングとその応用 : サイバーアシストプロジェクトの概要
- 特集「ファイナンスにおける人工知能応用」にあたって
- 複利型強化学習
- 経済学的合理性とエージェントシミュレーション
- OE1-1 人工社会・経済ソフトウェアの現状と展望(コンピュータの中の社会と経済,学術系企画)
- 人工市場における市場の複雑さの発展の分析
- 人工市場における市場の複雑さの発展の分析
- 協調カナービによる道路交通流の円滑化(セッション : 社会システムと知能(群ユーザモデルと知的支援), 「社会システムにおける知能」及び一般)
- 協調カナービによる道路交通流の円滑化(社会システムと知能(群ユーザモデルと知的支援), 「社会システムにおける知能」及び一般)
- 協調カナービによる道路交通流の円滑化
- 現実の金融市場へ近づく人工市場(ファイナンスにおける人工知能応用)
- 1K-5 人工市場サービスを用いた市場行動の評価(情報爆発時代における情報ガバナンス,一般セッション,「情報爆発」時代に向けた新しいIT基盤技術)
- 人工市場による取引アルゴリズムの評価(社会システムにおける知能,「社会システムにおける知能」および一般)
- 人工市場による取引アルゴリズムの評価(社会システムにおける知能,「社会システムにおける知能」および一般)
- 電子取引プロトコルを用いた人工市場シミュレーション (「知能と社会・ネットワーク」および一般発表)
- 5L-2 バイトコードによるJava servletプログラムの解析(プログラミング支援環境,学生セッション,ソフトウェア科学・工学)
- 座談会 : 「人工市場を研究する社会的および学問的意義」(「人工市場」)
- 道路交通ネットワークのダイナミクスと群ユーザ支援(ネットワークが創発する知能)
- 道路ネットワーク構造とナビゲーションシステムの有効性の関係について
- マイノリティーゲームによる資源割り当て問題の分類(社会システムにおける知能 : 実環境におけるマルチエージェント社会)
- マイノリティーゲームによる資源割り当て問題の分類(社会システムにおける知能(実環境におけるマルチエージェント社会))(「社会システムにおける知能」及び一般)
- 学習エージェントを導入した人工市場における均衡価格の検証
- 学習エージェントを導入した人工市場における均衡価格の検証
- 経済研究における機械学習応用(機械学習の科学研究への応用)
- 5ZJ-3 ILPを用いたBCL2ファミリータンパク質の一次構造からのフォールド予測(バイオ情報学,学生セッション,コンピュータと人間社会)
- H_020 モデル植物の購買履歴からの変異体選択支援システム(H分野:生体情報科学)
- H_017 HMMプロファイルの類似性に着目した遠縁の相同体検出手法の提案(H分野:生体情報科学)
- LH_006 Multi-Domain HMMsearch : マルチドメインを持つ遠縁なタンパク質のための相同性検索ツール(H分野:生体情報科学)
- 強化学習を用いた金融市場取引戦略の獲得と分析(ファイナンスにおける人工知能応用)
- F_006 強化学習を用いた株式取引シミュレーション(F分野:人工知能・ゲーム)
- F-004 重みつき類似度を用いたテキスト分類における判別モデルの改善(人工知能・ゲーム,一般論文)
- 5ZJ-1 大きく変異したマルチドメインタンパク質のためのMDHMMERの改良(バイオ情報学,学生セッション,コンピュータと人間社会)
- 5V-9 学習機能を持った製造工程管理システムの構築(ニューラルネット・学習,学生セッション,人工知能と認知科学)
- 5V-8 ILPを用いたダイス製造プロセスネットワークの学習(ニューラルネット・学習,学生セッション,人工知能と認知科学)
- 1V-4 併買関係に基づく金銭的価値による商品ランキング(学習・推論,学生セッション,人工知能と認知科学)
- 3N-1 HMMERのOpenMPによる並列化(ハイパフォーマンスコンピューティング,学生セッション,アーキテクチャ)
- 複数のWeb Wrapperによる高精度な情報抽出(セッション4:Web応用)
- 複数のWeb Wrapperによる高精度な情報抽出(セッション4:Web応用)
- 複数の Web Wrapper による高精度な情報抽出
- 二段階アプローチによるWeblogからの意見文抽出(情報抽出,特集「Web情報処理」及び一般)
- テキストマイニングによる金融市場の月次動向分析 (「社会システムと知能」および一般発表)
- テキストマイニングによる月次市場価格の分析(「社会的インタラクションにおける知」及び一般)
- 人工市場とエージェントの取引戦略
- 社会シミュレーションを人工知能の試験台に(ようこそ人工知能の世界へ : 編集委員今年の初夢)
- 社会シミュレーションを人工知能の試験台に
- 人工市場によって市場を理解しデザインする (特集 数理社会デザイン)
- 人工市場 : 市場現象のエージェントベースモデル
- 複雑系アプローチによる外国為替市場モデルの構築
- 特集「人工市場」にあたって
- 人工市場アプローチによる為替レートの分析
- A108 人工市場における市場の複雑さと個人の複雑さの関係の分析(マルチエージェント金融市場)
- 遺伝的アルゴリズムを用いた外国為替市場のシミュレーション
- 招待講演 Web上のテキストから金融市場が予測できるか--金融テキストマイニング研究の紹介 (人工知能と知識処理)
- 人工市場の作り方 : ヤッコーと呼ばれないために(「マルチエージェントシミュレーションの社会システムへの応用特集号」)
- 人工市場と実験市場の出会い : 模擬トレーディング実験による新しいエージェントモデルの提唱(マルチエージェント実験経済学)
- 為替ディーラーの意思決定の分析
- 為替ディーラーの意思決定の分析
- DT-3-3 金融市場におけるテキストマイニング(DT-3.Webと集合知,チュートリアルセッション,ソサイエティ企画)
- OE1-6 人工市場・模擬市場プロジェクトの紹介(コンピュータの中の社会と経済,学術系企画)
- 招待論文 人工市場:シミュレーションとフィールドワークの統合を目指して
- 人工市場入門(「人工市場」)
- 人工市場アプローチによる為替シナリオの分析(特集●社会・経済におけるマルチエージェント)
- 人工市場アプローチによる為替シナリオの分析
- 人工市場入門
- 人工市場アプローチによる為替シナリオの分析
- 人工市場入門
- コンピュータの中の市場 : 認知機構をもつエージェントからなる人工市場の構築とその評価
- 外国為替市場における創発的現象 : 人工市場アプローチによる解析
- 経済リポートのテキスト分析による金融市場動向推定 (言語理解とコミュニケーション)
- 人工市場シミュレーションによる経済理論の検証(進化型計算と創発のシミュレーション)
- 複利型強化学習の枠組みと応用
- 経済テキスト情報を用いた長期的な市場動向推定
- Web上のテキストから金融市場が予測できるか : 金融テキストマイニング研究の紹介(「Webインテリジェンス」及び一般)
- コミュニケーション構造の推移による大量SNSサイトの分類
- ACML 2010会議報告
- 経済リポートのテキスト分析による金融市場動向推定(事象モデリング,第1回テキストマイニング・シンポジウム)
- 金融テキストマイニング研究の紹介 (特集 金融市場における最新情報技術)
- Optimizing Betting Fraction in Compound Reinforcement Learning
- オーガナイズドセッション(2013年度人工知能学会全国大会(第27回))