マルチプレーン画像(MPI)や神経放射フィールド(NeRF)などの神経体積3D表現でオブジェクトを選択するためのアプローチを紹介します。私たちのアプローチは、1つのビューで前景と背景の2Dユーザーの落書きのセットを取り、新しいビューにレンダリングできる目的のオブジェクトの3Dセグメンテーションを自動的に推定します。この結果を達成するために、すべての入力ビューからの神経体積3D表現とマルチビュー画像機能を組み込んだ新しいボクセル機能埋め込みを提案します。私たちのアプローチを評価するために、実際のマルチビューシーンキャプチャで描写されたオブジェクトに対して人間が提供したセグメンテーションマスクの新しいデータセットを紹介します。私たちのアプローチは、私たちのタスクに適合した2Dセグメンテーションおよび3Dセグメンテーションアプローチを含む、強力なベースラインを上回っていることを示しています。
We introduce an approach for selecting objects in neural volumetric 3D representations, such as multi-plane images (MPI) and neural radiance fields (NeRF). Our approach takes a set of foreground and background 2D user scribbles in one view and automatically estimates a 3D segmentation of the desired object, which can be rendered into novel views. To achieve this result, we propose a novel voxel feature embedding that incorporates the neural volumetric 3D representation and multi-view image features from all input views. To evaluate our approach, we introduce a new dataset of human-provided segmentation masks for depicted objects in real-world multi-view scene captures. We show that our approach out-performs strong baselines, including 2D segmentation and 3D segmentation approaches adapted to our task.