Photoshop、セマンティック ストローク、さらにはテキスト プロンプトなどのユーザー フレンドリーなツールを使用した 2D 編集で大きな成功を収めているにもかかわらず、3D 領域での同様の機能は、3D モデリング スキルに依存するか、いくつかのカテゴリ内でのみ編集できるようにするかのいずれかで、依然として制限されています。この論文では、ユーザーが単一の画像でニューラル放射輝度フィールドを編集できるようにする新しいセマンティック主導の NeRF 編集アプローチを提示し、編集された新しいビューを高い忠実度とマルチビューの一貫性で忠実に提供します。この目標を達成するために、 3D 空間での細粒度のジオメトリおよびテクスチャ編集をエンコードするための事前ガイド付き編集フィールド、および編集プロセスを支援するための一連のテクニックを開発すること-駆動されたテクスチャ編集、および無関係なコンテンツを変更せずに維持するための機能クラスターベースの正則化。実世界の両方での広範な実験と編集例および合成データは、私たちの方法が単一の編集画像のみを使用して写真のようにリアルな 3D 編集を実現し、3D 現実世界のシーンでのセマンティック駆動型編集の限界を押し広げていることを示しています。私たちのプロジェクトのウェブページ: https://zju3d.github.io/sine/.
Despite the great success in 2D editing using user-friendly tools, such as Photoshop, semantic strokes, or even text prompts, similar capabilities in 3D areas are still limited, either relying on 3D modeling skills or allowing editing within only a few categories.In this paper, we present a novel semantic-driven NeRF editing approach, which enables users to edit a neural radiance field with a single image, and faithfully delivers edited novel views with high fidelity and multi-view consistency.To achieve this goal, we propose a prior-guided editing field to encode fine-grained geometric and texture editing in 3D space, and develop a series of techniques to aid the editing process, including cyclic constraints with a proxy mesh to facilitate geometric supervision, a color compositing mechanism to stabilize semantic-driven texture editing, and a feature-cluster-based regularization to preserve the irrelevant content unchanged.Extensive experiments and editing examples on both real-world and synthetic data demonstrate that our method achieves photo-realistic 3D editing using only a single edited image, pushing the bound of semantic-driven editing in 3D real-world scenes. Our project webpage: https://zju3dv.github.io/sine/.