大規模言語モデル (LLM) の最近の進歩により、自己回帰モデルを使用した事前トレーニングを通じて、インターネット規模の知識を学習および活用する能力が実証されました。残念ながら、そのようなモデルをロボットなどの具現化されたエージェントを使用する設定に適用することは、物理的な世界での経験の欠如、言語以外の観察を解析できないこと、ロボットが必要とする可能性のある報酬や安全上の制約を知らないことから困難です。一方、インタラクション データから学習する言語条件付きのロボット ポリシーは、エージェントが現実の世界で正しく位置付けられるようにするために必要な基盤を提供できますが、そのようなポリシーは、それらをトレーニングするために利用できる相互作用データの幅が限られています。したがって、言語モデルのセマンティック知識を利用したいが、それを具現化された設定に配置したい場合は、言語モデルに従って可能性が高く、環境のグラウンディングモデルに従って実現可能なアクションシーケンスを構築する必要があります。 .これを、確率的フィルタリングに似た問題として組み立てます。つまり、言語モデルの下での高い確率と、一連の接地モデルの目的の下での高い確率の両方を持つシーケンスをデコードします。このガイド付きデコード戦略が、両方のモデルの知識を活用することにより、ロボット設定で複雑で長い視野の具体化タスクを解決できることを示します。プロジェクトの Web サイトは、grounded-decoding.github.io にあります。
Recent progress in large language models (LLMs) has demonstrated the ability to learn and leverage Internet-scale knowledge through pre-training with autoregressive models. Unfortunately, applying such models to settings with embodied agents, such as robots, is challenging due to their lack of experience with the physical world, inability to parse non-language observations, and ignorance of rewards or safety constraints that robots may require. On the other hand, language-conditioned robotic policies that learn from interaction data can provide the necessary grounding that allows the agent to be correctly situated in the real world, but such policies are limited by the lack of high-level semantic understanding due to the limited breadth of the interaction data available for training them. Thus, if we want to make use of the semantic knowledge in a language model while still situating it in an embodied setting, we must construct an action sequence that is both likely according to the language model and also realizable according to grounded models of the environment. We frame this as a problem similar to probabilistic filtering: decode a sequence that both has high probability under the language model and high probability under a set of grounded model objectives. We demonstrate this guided decoding strategy is able to solve complex, long-horizon embodiment tasks in a robotic setting by leveraging the knowledge of both models. The project's website can be found at grounded-decoding.github.io.