Neural Radiance Fields (NeRF) の最近の進歩は、新しいビューの合成や 3D 再構成などの生成タスクで印象的なパフォーマンスを誇っています。ニューラル ラジアンス フィールドに基づく方法は、ポーズをとった画像のみに依存することで、暗黙のうちに 3D 世界を表すことができます。しかし、それらは 3D パーツ セグメンテーションなどの識別タスクの領域ではほとんど調査されていません。この作業では、SegNeRF を提案することによってそのギャップを埋めようとします。これは、セマンティック フィールドと通常の放射フィールドを統合するニューラル フィールド表現です。 SegNeRF は、以前の作品から新しいビュー合成と 3D 再構成を実行する機能を継承し、少数の画像から 3D パーツ セグメンテーションを可能にします。 PartNet での広範な実験により、SegNeRF は、目に見えないオブジェクトであっても、配置された画像からジオメトリ、外観、およびセマンティック情報を同時に予測できることが示されています。予測されたセマンティック フィールドにより、SegNeRF は 2D の新規ビュー セグメンテーションで 30.30%、3D パーツ セグメンテーションで 37.46% の平均 mIoU を達成し、少数のポーズ画像のみを使用することでポイントベースの方法に対して競争力のあるパフォーマンスを誇っています。さらに、SegNeRF は、野生で撮影されたオブジェクトの 1 つの画像から、対応するパーツ セグメンテーションを使用して明示的な 3D モデルを生成できます。
Recent advances in Neural Radiance Fields (NeRF) boast impressive performances for generative tasks such as novel view synthesis and 3D reconstruction. Methods based on neural radiance fields are able to represent the 3D world implicitly by relying exclusively on posed images. Yet, they have seldom been explored in the realm of discriminative tasks such as 3D part segmentation.In this work, we attempt to bridge that gap by proposing SegNeRF: a neural field representation that integrates a semantic field along with the usual radiance field. SegNeRF inherits from previous works the ability to perform novel view synthesis and 3D reconstruction, and enables 3D part segmentation from a few images. Our extensive experiments on PartNet show that SegNeRF is capable of simultaneously predicting geometry, appearance, and semantic information from posed images, even for unseen objects. The predicted semantic fields allow SegNeRF to achieve an average mIoU of 30.30% for 2D novel view segmentation, and 37.46% for 3D part segmentation, boasting competitive performance against point-based methods by using only a few posed images. Additionally, SegNeRF is able to generate an explicit 3D model from a single image of an object taken in the wild, with its corresponding part segmentation.