画像ベースの「パーツコントローラ」がないため、椅子の背もたれのサイズ変更やカップハンドルの交換など、人工の形状画像の形状操作は、画像ベースのパーツコントローラがないため直感的ではありません。この問題に取り組むために、画像と3D形状の両方の生成モデルを活用することにより、画像の直接形状操作を可能にするフレームワークであるStylePartを紹介します。私たちの主な貢献は、画像生成潜在空間と3D人工形状属性潜在空間を接続する形状整合性のある潜在マッピング機能です。私たちの方法は、画像コンテンツを対応する3D形状属性に「前方にマッピング」し、形状部分を簡単に操作できるようにします。次に、操作された3D形状の属性コードは、画像の潜像コードに「後方マッピング」され、最終的な操作された画像を取得します。パーツの交換、パーツのサイズ変更、視点の操作など、さまざまな操作タスクを通じてアプローチを示し、広範なアブレーション研究を通じてその有効性を評価します。
Due to a lack of image-based "part controllers", shape manipulation of man-made shape images, such as resizing the backrest of a chair or replacing a cup handle is not intuitive because of the lack of image-based part controllers. To tackle this problem, we present StylePart, a framework that enables direct shape manipulation of an image by leveraging generative models of both images and 3D shapes. Our key contribution is a shape-consistent latent mapping function that connects the image generative latent space and the 3D man-made shape attribute latent space. Our method "forwardly maps" the image content to its corresponding 3D shape attributes, where the shape part can be easily manipulated. The attribute codes of the manipulated 3D shape are then "backwardly mapped" to the image latent code to obtain the final manipulated image. We demonstrate our approach through various manipulation tasks, including part replacement, part resizing, and viewpoint manipulation, and evaluate its effectiveness through extensive ablation studies.