3D形状抽出の目覚ましい進歩により、オブジェクトのジオメトリを忠実にキャプチャできる表現が生まれました。並行して、プリミティブベースのメソッドは、オブジェクトを意味的に一貫したパーツ配置として表現しようとします。ただし、既存のプリミティブ表現が単純であるため、これらの方法では、少数のプリミティブ/パーツを使用して3D形状を正確に再構築できません。球とターゲットオブジェクト間の同相写像を実装するInvertibleNeural Network(INN)を使用してプリミティブを定義する、新しい3Dプリミティブ表現であるNeural Partsを使用して、再構成の品質とパーツ数の間のトレードオフに対処します。 INNを使用すると、同相写像の逆マッピングを計算できます。これにより、追加の後処理を行うことなく、プリミティブの陰関数とそのメッシュの両方を効率的に計算できます。私たちのモデルは、パーツレベルの監視なしで、3Dオブジェクトを意味的に一貫したパーツ配置に解析することを学習します。 ShapeNet、D-FAUST、およびFreiHANDの評価は、プリミティブが複雑な形状をキャプチャできることを示しています。したがって、最先端の形状抽象化手法よりも桁違いに少ないプリミティブを使用して、幾何学的に正確で解釈可能な再構成を同時に実現できます。
Impressive progress in 3D shape extraction led to representations that can capture object geometries with high fidelity. In parallel, primitive-based methods seek to represent objects as semantically consistent part arrangements. However, due to the simplicity of existing primitive representations, these methods fail to accurately reconstruct 3D shapes using a small number of primitives/parts. We address the trade-off between reconstruction quality and number of parts with Neural Parts, a novel 3D primitive representation that defines primitives using an Invertible Neural Network (INN) which implements homeomorphic mappings between a sphere and the target object. The INN allows us to compute the inverse mapping of the homeomorphism, which in turn, enables the efficient computation of both the implicit surface function of a primitive and its mesh, without any additional post-processing. Our model learns to parse 3D objects into semantically consistent part arrangements without any part-level supervision. Evaluations on ShapeNet, D-FAUST and FreiHAND demonstrate that our primitives can capture complex geometries and thus simultaneously achieve geometrically accurate as well as interpretable reconstructions using an order of magnitude fewer primitives than state-of-the-art shape abstraction methods.