この論文では、画像から潜在的なKoopman表現を学習する新しいモデルベースのエージェントであるDeepKoCoを紹介します。この表現により、DeepKoCoは、線形モデル予測制御などの線形制御方法を使用して効率的に計画を立てることができます。従来のエージェントと比較して、DeepKoCoは、すべての観測されたダイナミクスではなく、観測されたコストのみを再構築および予測する潜在的なダイナミクスを学習できるようにする、調整された損失のあるオートエンコーダネットワークの使用により、タスク関連のダイナミクスを学習します。私たちの結果が示すように、DeepKoCoは、複雑な制御タスクで従来のモデルフリーの方法と同様の最終パフォーマンスを達成すると同時に、ディストラクタダイナミクスに対してかなり堅牢であり、提案されたエージェントを実際のアプリケーションに適したものにします。
This paper presents DeepKoCo, a novel model-based agent that learns a latent Koopman representation from images. This representation allows DeepKoCo to plan efficiently using linear control methods, such as linear model predictive control. Compared to traditional agents, DeepKoCo learns task-relevant dynamics, thanks to the use of a tailored lossy autoencoder network that allows DeepKoCo to learn latent dynamics that reconstruct and predict only observed costs, rather than all observed dynamics. As our results show, DeepKoCo achieves similar final performance as traditional model-free methods on complex control tasks while being considerably more robust to distractor dynamics, making the proposed agent more amenable for real-life applications.