このペーパーでは、視覚言語モデルを活用して 3D 形状空間の探索をガイドする新しいフレームワークである CLIPXPlore について説明します。最近では、3D 形状を学習された潜在形状空間にエンコードして、ジェネレーティブ デザインとモデリングを可能にする多くの方法が開発されています。しかし、既存の方法には、情報が豊富であるにもかかわらず、効果的な探索メカニズムが欠けています。この目的を達成するために、形状空間の探索を支援するために、強力な事前トレーニング済み視覚言語モデルである CLIP を活用することを提案します。私たちのアイデアは 3 つあります。まず、スケッチ イメージを通じてペアの CLIP とシェイプ コードを生成し、2 つのスペースを接続するようにマッパー ネットワークをトレーニングすることで、CLIP スペースとシェイプ スペースを結合します。次に、特定の形状の周囲の空間を探索するために、形状のジオメトリによりよく一致する CLIP コードを検索するための共同最適化戦略を策定します。 3 番目に、バイナリ属性ガイド、テキスト ガイド、スケッチ ガイドの 3 つの探索モードを設計し、形状空間内で適切な探索軌跡を見つけ、形状に意味のある変化を引き起こします。一連の実験を実行して、CLIPXPlore を 3 つの探索モードのそれぞれで異なるベースラインと定量的かつ視覚的に比較し、CLIPXPlore が既存のソリューションでは達成できない多くの意味のある探索結果を生成できることを示しました。
This paper presents CLIPXPlore, a new framework that leverages a vision-language model to guide the exploration of the 3D shape space. Many recent methods have been developed to encode 3D shapes into a learned latent shape space to enable generative design and modeling. Yet, existing methods lack effective exploration mechanisms, despite the rich information. To this end, we propose to leverage CLIP, a powerful pre-trained vision-language model, to aid the shape-space exploration. Our idea is threefold. First, we couple the CLIP and shape spaces by generating paired CLIP and shape codes through sketch images and training a mapper network to connect the two spaces. Second, to explore the space around a given shape, we formulate a co-optimization strategy to search for the CLIP code that better matches the geometry of the shape. Third, we design three exploration modes, binary-attribute-guided, text-guided, and sketch-guided, to locate suitable exploration trajectories in shape space and induce meaningful changes to the shape. We perform a series of experiments to quantitatively and visually compare CLIPXPlore with different baselines in each of the three exploration modes, showing that CLIPXPlore can produce many meaningful exploration results that cannot be achieved by the existing solutions.