arXiv reaDer
AutoSDF:3Dの完了、再構築、生成のための形状事前分布
AutoSDF: Shape Priors for 3D Completion, Reconstruction and Generation
強力な事前情報により、不十分な情報で推論を実行できます。この論文では、形状の完成、再構成、生成などのマルチモーダル3Dタスクを解決するために、3D形状の自己回帰事前分布を提案します。 3D形状の分布を、3D形状の離散化された低次元のシンボリックグリッドのような潜在表現上の非順次自己回帰分布としてモデル化します。これにより、空間的に固定されたクエリ位置の任意のセットからの情報を条件とする3D形状の分布を表すことができ、そのような任意の設定で形状の完成を実行できます(たとえば、後脚のビューのみを指定して完全な椅子を生成します)。また、学習した自己回帰事前分布は、単一ビューの再構築や言語ベースの生成などの条件付きタスクに活用できることも示しています。これは、最小限のペアデータでトレーニングされた軽量モデルで近似できるタスク固有の素朴な条件を学習することで実現されます。定量的評価と定性的評価の両方を使用して提案された方法の有効性を検証し、提案された方法が個々のタスクのために訓練された特殊な最先端の方法よりも優れていることを示します。コードとビデオの視覚化を含むプロジェクトページは、https://yccyenchicheng.github.io/AutoSDF/にあります。
Powerful priors allow us to perform inference with insufficient information. In this paper, we propose an autoregressive prior for 3D shapes to solve multimodal 3D tasks such as shape completion, reconstruction, and generation. We model the distribution over 3D shapes as a non-sequential autoregressive distribution over a discretized, low-dimensional, symbolic grid-like latent representation of 3D shapes. This enables us to represent distributions over 3D shapes conditioned on information from an arbitrary set of spatially anchored query locations and thus perform shape completion in such arbitrary settings (e.g., generating a complete chair given only a view of the back leg). We also show that the learned autoregressive prior can be leveraged for conditional tasks such as single-view reconstruction and language-based generation. This is achieved by learning task-specific naive conditionals which can be approximated by light-weight models trained on minimal paired data. We validate the effectiveness of the proposed method using both quantitative and qualitative evaluation and show that the proposed method outperforms the specialized state-of-the-art methods trained for individual tasks. The project page with code and video visualizations can be found at https://yccyenchicheng.github.io/AutoSDF/.
updated: Wed Mar 29 2023 21:33:16 GMT+0000 (UTC)
published: Thu Mar 17 2022 17:59:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト