arXiv reaDer
特定のオブジェクトに焦点を当てた NeRF
Focused Specific Objects NeRF
ほとんどの NeRF ベースのモデルはシーン全体を学習するように設計されており、複雑なシーンでは学習時間が長くなり、レンダリング効果が低下する可能性があります。この論文では、シーン セマンティック事前分布を利用して高速トレーニングを改善し、ネットワークが特定のターゲットに焦点を当て、複雑な背景の影響を受けないようにすることができます。トレーニング速度は 7.78 倍に向上し、レンダリング効果が向上し、小型から中規模のターゲットをより高速にレンダリングできます。さらに、この改善はすべての NeRF ベースのモデルに適用されます。 NeRF の固有のマルチビューの一貫性と滑らかさを考慮して、この論文では、ネガティブ レイ サンプルをまばらにサンプリングすることによる弱い監視も研究します。この方法により、学習をさらに高速化し、レンダリング品質を維持することができます。最後に、この論文は、ピクセルのセマンティックとカラー レンダリングの式を拡張し、特定のセマンティック ターゲットの独自の表示やレンダリング時のマスキングを実現できる新しいシーン編集手法を提案します。シーン内の教師なし領域の誤った推論の問題に対処するために、形態学的操作とクラスタリングを組み合わせた自己教師ありループも設計しました。
Most NeRF-based models are designed for learning the entire scene, and complex scenes can lead to longer learning times and poorer rendering effects. This paper utilizes scene semantic priors to make improvements in fast training, allowing the network to focus on the specific targets and not be affected by complex backgrounds. The training speed can be increased by 7.78 times with better rendering effect, and small to medium sized targets can be rendered faster. In addition, this improvement applies to all NeRF-based models. Considering the inherent multi-view consistency and smoothness of NeRF, this paper also studies weak supervision by sparsely sampling negative ray samples. With this method, training can be further accelerated and rendering quality can be maintained. Finally, this paper extends pixel semantic and color rendering formulas and proposes a new scene editing technique that can achieve unique displays of the specific semantic targets or masking them in rendering. To address the problem of unsupervised regions incorrect inferences in the scene, we also designed a self-supervised loop that combines morphological operations and clustering.
updated: Fri Aug 11 2023 07:07:40 GMT+0000 (UTC)
published: Fri Aug 11 2023 07:07:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト