arXiv reaDer
Canonical Fields: 姿勢正規化ニューラル フィールドの自己教師あり学習
Canonical Fields: Self-Supervised Learning of Pose-Canonicalized Neural Fields
座標ベースの暗黙的ニューラル ネットワーク (ニューラル フィールド) は、3D コンピューター ビジョンにおける形状と外観の有用な表現として登場しました。しかし、進歩にもかかわらず、3D の位置と向き (ポーズ) に対して一貫して整列された正規化されたオブジェクト インスタンスを提供する ShapeNet のようなデータセットなしで、オブジェクトのカテゴリのニューラル フィールドを構築することは依然として困難です。 Canonical Field Network (CaFi-Net) は、ニューラル フィールド、特にニューラル ラディアンス フィールド (NeRF) として表されるオブジェクト カテゴリからインスタンスの 3D ポーズを正規化するための自己教師あり手法です。 CaFi-Net は、カテゴリ レベルの正規化のために等変場の特徴を抽出するように設計されたシャム ネットワーク アーキテクチャを使用して、連続的でノイズの多い放射場から直接学習します。推論中、私たちの方法は、任意の 3D ポーズで新規オブジェクト インスタンスの事前トレーニングされたニューラル ラディアンス フィールドを取得し、カテゴリ全体で一貫した 3D ポーズを使用して正規フィールドを推定します。 13 のオブジェクト カテゴリにわたる 1300 の NeRF モデルの新しいデータセットでの広範な実験により、私たちの方法が 3D 点群ベースの方法のパフォーマンスと同等またはそれを超えることが示されました。
Coordinate-based implicit neural networks, or neural fields, have emerged as useful representations of shape and appearance in 3D computer vision. Despite advances however, it remains challenging to build neural fields for categories of objects without datasets like ShapeNet that provide canonicalized object instances that are consistently aligned for their 3D position and orientation (pose). We present Canonical Field Network (CaFi-Net), a self-supervised method to canonicalize the 3D pose of instances from an object category represented as neural fields, specifically neural radiance fields (NeRFs). CaFi-Net directly learns from continuous and noisy radiance fields using a Siamese network architecture that is designed to extract equivariant field features for category-level canonicalization. During inference, our method takes pre-trained neural radiance fields of novel object instances at arbitrary 3D pose, and estimates a canonical field with consistent 3D pose across the entire category. Extensive experiments on a new dataset of 1300 NeRF models across 13 object categories show that our method matches or exceeds the performance of 3D point cloud-based methods.
updated: Mon Dec 05 2022 18:56:36 GMT+0000 (UTC)
published: Mon Dec 05 2022 18:56:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト