arXiv reaDer
3D形状生成のための四面体拡散モデル
Tetrahedral Diffusion Models for 3D Shape Generation
最近、確率論的ノイズ除去拡散モデル (DDM) によって、ニューラル ネットワークの生成能力が大幅に向上しました。非平衡熱力学に着想を得た DDM は、2D 画像の生成に使用されただけでなく、3D 点群にも容易に適用できます。ただし、3D 形状を点群として表現することには多くの欠点があり、最も明白なのはトポロジーや接続性の概念がないことです。ここでは、代替ルートを探索し、3D 空間の四面体パーティションへの DDM の拡張である四面体拡散モデルを紹介します。空間充填四面体を使用した、より構造化された 3D 表現により、拡散プロセスをガイドおよび規則化し、カラー化されたアセットに適用することが可能になります。提案された表現を操作するために、四面体畳み込み、ダウンおよびアップサンプリング カーネルを開発します。これらの演算子を使用すると、3D 形状の生成は、四面体グリッド上の変位ベクトルと符号付き距離値を学習することになります。私たちの実験では、Tetrahedral Diffusion が妥当で視覚的に心地よい多様な 3D 形状を生成し、色などの表面属性を処理でき、テスト時にガイドして結果の形状を操作できることが確認されています。
Recently, probabilistic denoising diffusion models (DDMs) have greatly advanced the generative power of neural networks. DDMs, inspired by non-equilibrium thermodynamics, have not only been used for 2D image generation, but can also readily be applied to 3D point clouds. However, representing 3D shapes as point clouds has a number of drawbacks, most obvious perhaps that they have no notion of topology or connectivity. Here, we explore an alternative route and introduce tetrahedral diffusion models, an extension of DDMs to tetrahedral partitions of 3D space. The much more structured 3D representation with space-filling tetrahedra makes it possible to guide and regularize the diffusion process and to apply it to colorized assets. To manipulate the proposed representation, we develop tetrahedral convolutions, down- and up-sampling kernels. With those operators, 3D shape generation amounts to learning displacement vectors and signed distance values on the tetrahedral grid. Our experiments confirm that Tetrahedral Diffusion yields plausible, visually pleasing and diverse 3D shapes, is able to handle surface attributes like color, and can be guided at test time to manipulate the resulting shapes.
updated: Wed Nov 23 2022 18:58:33 GMT+0000 (UTC)
published: Wed Nov 23 2022 18:58:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト