arXiv reaDer
ニューラル ラディアンス フィールドの参照ガイド付き制御可能なインペインティング
Reference-guided Controllable Inpainting of Neural Radiance Fields
ビュー合成用の Neural Radiance Fields (NeRF) の人気により、NeRF 編集ツールが必要になりました。ここでは、ビューの一貫性と制御可能な方法で領域を修復することに焦点を当てます。各ビューの不要な領域の輪郭を描く一般的な NeRF 入力とマスクに加えて、シーンの 1 つの修復ビュー、つまり参照ビューのみが必要です。単眼深度推定器を使用して、修復されたビューを正しい 3D 位置に逆投影します。次に、新しいレンダリング手法を介して、バイラテラル ソルバーは非参照ビューでビュー依存効果を構築し、修復された領域がどのビューからも一貫して見えるようにします。単一の参照ビューでは監視できない非参照非閉塞領域については、ジオメトリと外観の両方をガイドする画像修復ツールに基づく方法を考案します。私たちのアプローチは、NeRF 修復ベースラインよりも優れたパフォーマンスを示し、ユーザーが単一の修復画像を介して生成されたシーンを制御できるという追加の利点があります。プロジェクトページ: https://ashmrz.github.io/reference-guided-3d
The popularity of Neural Radiance Fields (NeRFs) for view synthesis has led to a desire for NeRF editing tools. Here, we focus on inpainting regions in a view-consistent and controllable manner. In addition to the typical NeRF inputs and masks delineating the unwanted region in each view, we require only a single inpainted view of the scene, i.e., a reference view. We use monocular depth estimators to back-project the inpainted view to the correct 3D positions. Then, via a novel rendering technique, a bilateral solver can construct view-dependent effects in non-reference views, making the inpainted region appear consistent from any view. For non-reference disoccluded regions, which cannot be supervised by the single reference view, we devise a method based on image inpainters to guide both the geometry and appearance. Our approach shows superior performance to NeRF inpainting baselines, with the additional advantage that a user can control the generated scene via a single inpainted image. Project page: https://ashmrz.github.io/reference-guided-3d
updated: Thu Apr 20 2023 15:19:12 GMT+0000 (UTC)
published: Wed Apr 19 2023 14:11:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト