arXiv reaDer
An Optimistic Perspective on Offline Reinforcement Learning
ログに記録されたインタラクションの固定オフラインデータセットを用いたオフポリシー強化学習(RL)は、実世界でのアプリケーションにおいて重要な考慮事項である。本論文では、60のAtari 2600ゲーム上でのDQNエージェントのリプレイ経験全体からなるDQNリプレイデータセットを用いてオフラインRLを研究している。最近のオフポリシーディープRLアルゴリズムは、このリプレイデータセットのみで訓練した場合でも、完全に訓練されたDQNエージェントを上回ることを実証した。オフライン環境での一般化を強化するために、複数のQ値推定値のランダムな凸の組み合わせに対して最適なベルマン整合性を強制するロバストなQ学習アルゴリズムであるRandom Ensemble Mixture (REM)を提示する。DQN再生データセット上で訓練されたオフラインREMは、強力なRLベースラインを凌駕する。この結果は、十分に大規模で多様なオフラインデータセット上で訓練されたロバストなRLアルゴリズムが高品質のポリシーを実現できるという楽観的な見解を示している。DQNリプレイデータセットはオフラインRLベンチマークとして利用でき、オープンソースで提供されている。
Off-policy reinforcement learning (RL) using a fixed offline dataset of logged interactions is an important consideration in real world applications. This paper studies offline RL using the DQN replay dataset comprising the entire replay experience of a DQN agent on 60 Atari 2600 games. We demonstrate that recent off-policy deep RL algorithms, even when trained solely on this replay dataset, outperform the fully trained DQN agent. To enhance generalization in the offline setting, we present Random Ensemble Mixture (REM), a robust Q-learning algorithm that enforces optimal Bellman consistency on random convex combinations of multiple Q-value estimates. Offline REM trained on the DQN replay dataset surpasses strong RL baselines. The results here present an optimistic view that robust RL algorithms trained on sufficiently large and diverse offline datasets can lead to high quality policies. The DQN replay dataset can serve as an offline RL benchmark and is open-sourced.
updated: Fri Mar 06 2020 00:35:57 GMT+0000 (UTC)
published: Wed Jul 10 2019 07:23:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト