arXiv reaDer
ニューラル ラディアンス フィールドのロバスト性のベンチマーク
Benchmarking Robustness in Neural Radiance Fields
Neural Radiance Field (NeRF) は、簡潔な定式化で 3D オブジェクトのジオメトリをモデル化できるため、新しいビュー合成において優れた品質を示しています。ただし、NeRF ベースのモデルに対する現在のアプローチは、正確なカメラ キャリブレーションを備えたクリーンな画像に依存しています。これは、データが破損や歪みの影響を受けやすい現実の世界では取得が難しい場合があります。この作業では、さまざまな種類の破損が存在する場合の NeRF ベースの新しいビュー合成アルゴリズムの堅牢性の最初の包括的な分析を提供します。 NeRF ベースのモデルは、破損があると大幅に劣化し、画像認識モデルよりも異なる一連の破損に対してより敏感であることがわかります。さらに、畳み込みニューラルネットワークまたはトランスフォーマーを介して抽出されたニューラル機能を使用して画像を合成する一般化可能な方法で機能エンコーダーのロバスト性を分析し、ロバスト性にわずかにしか寄与しないことを発見しました。最後に、認識モデルの堅牢性を大幅に向上させることができる標準的なデータ拡張技術は、NeRF ベースのモデルの堅牢性には役立たないことを明らかにします。私たちの調査結果がより多くの研究者を引き付けて、NeRF ベースのアプローチの堅牢性を研究し、現実世界でのパフォーマンスを向上させるのに役立つことを願っています。
Neural Radiance Field (NeRF) has demonstrated excellent quality in novel view synthesis, thanks to its ability to model 3D object geometries in a concise formulation. However, current approaches to NeRF-based models rely on clean images with accurate camera calibration, which can be difficult to obtain in the real world, where data is often subject to corruption and distortion. In this work, we provide the first comprehensive analysis of the robustness of NeRF-based novel view synthesis algorithms in the presence of different types of corruptions. We find that NeRF-based models are significantly degraded in the presence of corruption, and are more sensitive to a different set of corruptions than image recognition models. Furthermore, we analyze the robustness of the feature encoder in generalizable methods, which synthesize images using neural features extracted via convolutional neural networks or transformers, and find that it only contributes marginally to robustness. Finally, we reveal that standard data augmentation techniques, which can significantly improve the robustness of recognition models, do not help the robustness of NeRF-based models. We hope that our findings will attract more researchers to study the robustness of NeRF-based approaches and help to improve their performance in the real world.
updated: Tue Jan 10 2023 17:01:12 GMT+0000 (UTC)
published: Tue Jan 10 2023 17:01:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト