目標駆動型視覚ナビゲーションなど、部分的に観察可能な目標駆動型タスクに取り組むための目標関係グラフ(GRG)を備えた新しい2層階層強化学習アプローチを提示します。私たちのGRGは、ディリクレカテゴリのプロセスを通じて、ゴールスペース内のすべてのゴールの基本的な関係をキャプチャします。これにより、次のことが容易になります。1)指定された最終ゴールの達成に向けてサブゴールを上げる高レベルのネットワーク。 2)最適なポリシーに向けた低レベルのネットワーク。 3)目に見えない環境と目標を一般化するシステム全体。部分的に観察可能な目標駆動型タスクの2つの設定(グリッドワールドドメインとロボットオブジェクト検索タスク)を使用して、アプローチを評価します。私たちの実験結果は、私たちのアプローチが目に見えない環境と新しい目標の両方で優れた一般化パフォーマンスを示すことを示しています。
We present a novel two-layer hierarchical reinforcement learning approach equipped with a Goals Relational Graph (GRG) for tackling the partially observable goal-driven task, such as goal-driven visual navigation. Our GRG captures the underlying relations of all goals in the goal space through a Dirichlet-categorical process that facilitates: 1) the high-level network raising a sub-goal towards achieving a designated final goal; 2) the low-level network towards an optimal policy; and 3) the overall system generalizing unseen environments and goals. We evaluate our approach with two settings of partially observable goal-driven tasks -- a grid-world domain and a robotic object search task. Our experimental results show that our approach exhibits superior generalization performance on both unseen environments and new goals.