シーケンシャル マニピュレーション タスクでは、ロボットが環境の状態を認識し、目的の目標状態につながる一連のアクションを計画する必要があります。このようなタスクでは、タスクがいつ完了し、どのアクションを実行できるかを判断するために、生のセンサー入力からオブジェクト エンティティ間の空間的関係を推論する能力が重要です。この作業では、SORNet (Spatial Object-Centric Representation Network) を提案します。これは、正規オブジェクト ビューと呼ばれる画像パッチとして表される、一連のオブジェクト クエリで調整された RGB 画像からオブジェクト中心の表現を学習するためのフレームワークです。 SORNet は、オブジェクトごとに単一の正規ビューのみを使用し、注釈を付けないため、トレーニング中に形状とテクスチャの両方が見えないオブジェクト エンティティにゼロ ショットを一般化します。複雑なテーブルトップ操作シナリオでの空間関係分類や相対方向回帰などのさまざまな空間推論タスクで SORNet を評価し、SORNet が最先端の表現学習技術を含むベースラインよりも大幅に優れていることを示します。また、SORNet によって学習された表現を、実際のロボットでの順次操作のためのビジュアル サーボとタスク計画に適用する方法も示します。
Sequential manipulation tasks require a robot to perceive the state of an environment and plan a sequence of actions leading to a desired goal state. In such tasks, the ability to reason about spatial relations among object entities from raw sensor inputs is crucial in order to determine when a task has been completed and which actions can be executed. In this work, we propose SORNet (Spatial Object-Centric Representation Network), a framework for learning object-centric representations from RGB images conditioned on a set of object queries, represented as image patches called canonical object views. With only a single canonical view per object and no annotation, SORNet generalizes zero-shot to object entities whose shape and texture are both unseen during training. We evaluate SORNet on various spatial reasoning tasks such as spatial relation classification and relative direction regression in complex tabletop manipulation scenarios and show that SORNet significantly outperforms baselines including state-of-the-art representation learning techniques. We also demonstrate the application of the representation learned by SORNet on visual-servoing and task planning for sequential manipulation on a real robot.