この論文では、画像から潜在的なKoopman表現を学習する新しいモデルベースのエージェントであるDeepKoCoを紹介します。この表現により、DeepKoCoは、線形モデル予測制御などの線形制御方法を使用して効率的に計画を立てることができます。従来のエージェントと比較して、DeepKoCoは、すべての観測されたダイナミクスではなく、観測されたコストのみを再構築および予測する潜在的なダイナミクスを学習できるように調整された損失のあるオートエンコーダネットワークの使用により、タスクに関係のないダイナミクスに対して堅牢です。私たちの結果が示すように、DeepKoCoは、複雑な制御タスクで従来のモデルフリーの方法と同様の最終パフォーマンスを達成しますが、ディストラクタダイナミクスに対してかなり堅牢であるため、提案されたエージェントは実際のアプリケーションに適しています。
This paper presents DeepKoCo, a novel model-based agent that learns a latent Koopman representation from images. This representation allows DeepKoCo to plan efficiently using linear control methods, such as linear model predictive control. Compared to traditional agents, DeepKoCo is robust to task-irrelevant dynamics, thanks to the use of a tailored lossy autoencoder network that allows DeepKoCo to learn latent dynamics that reconstruct and predict only observed costs, rather than all observed dynamics. As our results show, DeepKoCo achieves a similar final performance as traditional model-free methods on complex control tasks, while being considerably more robust to distractor dynamics, making the proposed agent more amenable for real-life applications.