3D ビジュアル グラウンディングは、豊富なセマンティック キューを備えた自由形式の自然言語記述によって言及された点群内のオブジェクトを見つけることを目的としています。ただし、既存の方法では、すべての単語を結合する文レベルの特徴を抽出するか、オブジェクト名により焦点を当てるため、単語レベルの情報が失われるか、他の属性が無視されます。これらの問題を軽減するために、文内のテキスト属性を明示的に分離し、そのようなきめの細かい言語と点群オブジェクトの間で密な位置合わせを行う EDA を提示します。具体的には、最初に、すべてのセマンティックコンポーネントのテキスト機能を生成するテキスト分離モジュールを提案します。次に、2 つのモダリティ間の密な一致を監視する 2 つの損失を設計します: 位置アラインメント損失とセマンティック アラインメント損失。その上で、オブジェクト名のないオブジェクトの位置を特定する新しい視覚的グラウンディング タスクをさらに導入します。これにより、モデルの密な配置能力を徹底的に評価できます。実験を通じて、広く採用されている 2 つの 3D ビジュアル グラウンディング データセットである ScanRefer と SR3D/NR3D で最先端のパフォーマンスを達成し、新しく提案されたタスクで絶対的なリーダーシップを獲得します。ソース コードは、https://github.com/yanmin-wu/EDA で入手できます。
3D visual grounding aims to find the object within point clouds mentioned by free-form natural language descriptions with rich semantic cues. However, existing methods either extract the sentence-level features coupling all words or focus more on object names, which would lose the word-level information or neglect other attributes. To alleviate these issues, we present EDA that Explicitly Decouples the textual attributes in a sentence and conducts Dense Alignment between such fine-grained language and point cloud objects. Specifically, we first propose a text decoupling module to produce textual features for every semantic component. Then, we design two losses to supervise the dense matching between two modalities: position alignment loss and semantic alignment loss. On top of that, we further introduce a new visual grounding task, locating objects without object names, which can thoroughly evaluate the model's dense alignment capacity. Through experiments, we achieve state-of-the-art performance on two widely-adopted 3D visual grounding datasets, ScanRefer and SR3D/NR3D, and obtain absolute leadership on our newly-proposed task. The source code will be available at https://github.com/yanmin-wu/EDA.