RGBD画像の参照式の接地は新しい分野です。参照されたオブジェクトがオクルージョンのために部分的にしかスキャンされないことが多いシングルビューRGBD画像での3D視覚的接地の新しいタスクを提示します。 3Dシーンでグラウンディングするためのオブジェクト提案を直接生成する以前の作品とは対照的に、部分的なジオメトリによってもたらされる課題に効果的に対処し、コンテキストアウェア情報を徐々に集約するボトムアップアプローチを提案します。私たちのアプローチは、最初に言語と最下位レベルの視覚的特徴を融合して、RGBD画像内の関連する領域を大まかにローカライズするヒートマップを生成します。次に、私たちのアプローチは、ヒートマップに基づいて適応機能学習を実行し、別のVisio-言語融合とオブジェクトレベルのマッチングを実行して、参照されたオブジェクトを最終的に接地します。 ScanReferデータセットから抽出されたRGBD画像と新しく収集されたSUNReferデータセットの両方で最先端の方法と比較することにより、提案された方法を評価します。実験によると、両方のデータセットで、私たちの方法が以前の方法を大幅に上回っています(11.2%および15.6%Acc@0.5)。
Grounding referring expressions in RGBD image has been an emerging field. We present a novel task of 3D visual grounding in single-view RGBD image where the referred objects are often only partially scanned due to occlusion. In contrast to previous works that directly generate object proposals for grounding in the 3D scenes, we propose a bottom-up approach to gradually aggregate context-aware information, effectively addressing the challenge posed by the partial geometry. Our approach first fuses the language and the visual features at the bottom level to generate a heatmap that coarsely localizes the relevant regions in the RGBD image. Then our approach conducts an adaptive feature learning based on the heatmap and performs the object-level matching with another visio-linguistic fusion to finally ground the referred object. We evaluate the proposed method by comparing to the state-of-the-art methods on both the RGBD images extracted from the ScanRefer dataset and our newly collected SUNRefer dataset. Experiments show that our method outperforms the previous methods by a large margin (by 11.2% and 15.6% Acc@0.5) on both datasets.