外観とジオメトリをモデル化し、マルチビューポーズ画像のみから同じカテゴリのオブジェクト間で高密度の形状対応を同時に生成するためのテンプレートを備えたニューラルラディアンスフィールド(NeRF)を提示します。これは、3D監視や地面を必要としません。 -真実の対応知識。学習された密な対応は、以前は特定のモデル設計を必要としていたキーポイント検出、パーツセグメンテーション、テクスチャ転送などのさまざまな画像ベースのタスクに簡単に使用できます。私たちの方法は、カテゴリのインスタンスが1つまたは数個しかない場合、1回または数回の方法で注釈の転送に対応することもできます。定期的なアクティブ化と機能ごとの線形変調(FiLM)条件付けを使用して、3Dデータの深い陰的テンプレートを3D対応の画像合成パイプラインNeRFに導入します。共有NeRFテンプレートの形状および外観のバリエーションと同じカテゴリ内のオブジェクトインスタンスを表すことにより、提案された方法は、広範囲のオブジェクトクラスの画像で推論する高密度の形状対応を実現できます。 3D情報に基づく他の方法と比較して、合成データと実世界データの両方で結果とアプリケーションを競争力のある結果で示します。
We present neural radiance fields (NeRF) with templates, dubbed Template-NeRF, for modeling appearance and geometry and generating dense shape correspondences simultaneously among objects of the same category from only multi-view posed images, without the need of either 3D supervision or ground-truth correspondence knowledge. The learned dense correspondences can be readily used for various image-based tasks such as keypoint detection, part segmentation, and texture transfer that previously require specific model designs. Our method can also accommodate annotation transfer in a one or few-shot manner, given only one or a few instances of the category. Using periodic activation and feature-wise linear modulation (FiLM) conditioning, we introduce deep implicit templates on 3D data into the 3D-aware image synthesis pipeline NeRF. By representing object instances within the same category as shape and appearance variation of a shared NeRF template, our proposed method can achieve dense shape correspondences reasoning on images for a wide range of object classes. We demonstrate the results and applications on both synthetic and real-world data with competitive results compared with other methods based on 3D information.