arXiv reaDer
Embodied Language Grounding with 3D Visual Feature Representations
言語の発話を、それらが記述するシーンの3D視覚的抽象化に関連付けることを提案します。 3D視覚的抽象化は、3次元視覚的特徴マップとしてエンコードされます。ビュー予測を介してシーンのRGB画像からこれらの3Dビジュアルシーン特徴マップを推測します。生成された3Dシーン特徴マップがカメラの視点から神経的に投影される場合、対応するRGB画像と一致する必要があります。発話の依存ツリーを条件とし、対応する視覚的な3D特徴マップとその妥当性の理由を生成する生成モデルと、発話の依存ツリーと関連画像の両方を条件とし、オブジェクトをローカライズする検出器モデルを提示します。画像から推測された3Dフィーチャマップの指示対象。私たちのモデルは、発話の妥当性の分類、参照表現の検出、オブジェクト配置ポリシーの軌道最適化に対する報酬の提供など、さまざまなタスクで言語を2DCNNアクティベーションまたは2D画像に関連付ける言語およびビジョンのモデルよりも優れています。言語の指示から。多数のアブレーションを実行し、検出器のパフォーマンスの向上は、カメラの視点全体での一般化の向上と、推定される3Dフィーチャ空間でのオブジェクトの干渉の欠如によるものであり、ジェネレータのパフォーマンスの向上は、オブジェクトについて空間的に推論する能力によるものであることを示しています。言語からシーンにマッピングする際の3Dでの構成。
We propose associating language utterances to 3D visual abstractions of the scene they describe. The 3D visual abstractions are encoded as 3-dimensional visual feature maps. We infer these 3D visual scene feature maps from RGB images of the scene via view prediction: when the generated 3D scene feature map is neurally projected from a camera viewpoint, it should match the corresponding RGB image. We present generative models that condition on the dependency tree of an utterance and generate a corresponding visual 3D feature map as well as reason about its plausibility, and detector models that condition on both the dependency tree of an utterance and a related image and localize the object referents in the 3D feature map inferred from the image. Our model outperforms models of language and vision that associate language with 2D CNN activations or 2D images by a large margin in a variety of tasks, such as, classifying plausibility of utterances, detecting referential expressions, and supplying rewards for trajectory optimization of object placement policies from language instructions. We perform numerous ablations and show the improved performance of our detectors is due to its better generalization across camera viewpoints and lack of object interferences in the inferred 3D feature space, and the improved performance of our generators is due to their ability to spatially reason about objects and their configurations in 3D when mapping from language to scenes.
updated: Thu Jun 17 2021 21:31:18 GMT+0000 (UTC)
published: Wed Oct 02 2019 20:37:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト