arXiv reaDer
Option Discovery in Hierarchical Reinforcement Learning using Spatio-Temporal Clustering
このホワイトペーパーでは、強化学習における自動スキル取得フレームワークを紹介します。これには、抽象状態および抽象状態間の拡張アクションに関する特定のタスクの階層的な記述の識別が含まれます。タスクに存在するそのような構造を特定することで、強化学習アルゴリズムを簡略化および高速化する方法が提供されます。これらの構造は、ポリシーを最初から再学習することなく、複数のタスクにわたってそのようなアルゴリズムを一般化するのにも役立ちます。動的システムからのアイデアを使用して、状態空間内の準安定領域を見つけ、それらを抽象的な状態に関連付けます。スペクトルクラスタリングアルゴリズムPCCA +は、基になる構造に合わせて適切な抽象化を識別するために使用されます。スキルは、そのような抽象的な状態間の遷移につながる一連のアクションの観点から定義されます。 PCCA +からの接続情報は、これらのスキルまたはオプションを生成するために使用されます。これらのスキルは学習タスクとは独立しており、同じモデルで定義されたさまざまなタスクで効率的に再利用できます。このアプローチは、サンプルの軌跡を使用して概算を構築することにより、環境の正確なモデルがなくてもうまく機能します。また、アクション条件付きビデオ予測ネットワークから学習した表現を使用して状態集約を実行し、集約された状態空間でスキル取得フレームワークを使用する、大規模な状態空間を持つ複雑なタスクにスキル取得フレームワークをスケーリングするアプローチを示します。
This paper introduces an automated skill acquisition framework in reinforcement learning which involves identifying a hierarchical description of the given task in terms of abstract states and extended actions between abstract states. Identifying such structures present in the task provides ways to simplify and speed up reinforcement learning algorithms. These structures also help to generalize such algorithms over multiple tasks without relearning policies from scratch. We use ideas from dynamical systems to find metastable regions in the state space and associate them with abstract states. The spectral clustering algorithm PCCA+ is used to identify suitable abstractions aligned to the underlying structure. Skills are defined in terms of the sequence of actions that lead to transitions between such abstract states. The connectivity information from PCCA+ is used to generate these skills or options. These skills are independent of the learning task and can be efficiently reused across a variety of tasks defined over the same model. This approach works well even without the exact model of the environment by using sample trajectories to construct an approximate estimate. We also present our approach to scaling the skill acquisition framework to complex tasks with large state spaces for which we perform state aggregation using the representation learned from an action conditional video prediction network and use the skill acquisition framework on the aggregated state space.
updated: Mon Sep 21 2020 22:18:31 GMT+0000 (UTC)
published: Tue May 17 2016 20:44:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト