arXiv reaDer
LADIS: 3D 形状編集のための言語のもつれの解消
LADIS: Language Disentanglement for 3D Shape Editing
自然言語インタラクションは、3D 形状設計を民主化するための有望な方向性です。ただし、テキスト駆動型の 3D 形状編集の既存の方法は、3D 形状の分離されたローカル編集を作成する際に課題に直面しています。この問題は、3D ジオメトリの基盤となる絡み合っていない潜在表現を学習することで対処します。この目的のために、新しいネットワーク アーキテクチャ、もつれを解く損失、および新しい編集手順を含む補完的なツール セットを提案します。さらに、編集の局所性を測定するために、部分編集精度と呼ばれる新しいメトリックを定義します。私たちの方法は、既存の SOTA 方法よりも編集局所性で 20%、言語参照解決精度で最大 6.6% 優れていることを示しています。私たちの研究は、言語表現のもつれを解くだけで、下流の 3D 形状編集が、たとえモデルが明示的なパーツベースの監督を受けていなくても、関連するパーツによりローカルになる可能性があることを示唆しています。
Natural language interaction is a promising direction for democratizing 3D shape design. However, existing methods for text-driven 3D shape editing face challenges in producing decoupled, local edits to 3D shapes. We address this problem by learning disentangled latent representations that ground language in 3D geometry. To this end, we propose a complementary tool set including a novel network architecture, a disentanglement loss, and a new editing procedure. Additionally, to measure edit locality, we define a new metric that we call part-wise edit precision. We show that our method outperforms existing SOTA methods by 20% in terms of edit locality, and up to 6.6% in terms of language reference resolution accuracy. Our work suggests that by solely disentangling language representations, downstream 3D shape editing can become more local to relevant parts, even if the model was never given explicit part-based supervision.
updated: Fri Dec 09 2022 17:54:28 GMT+0000 (UTC)
published: Fri Dec 09 2022 17:54:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト