3D ジオメトリを忠実に再構築し、シーンの新しいビューを生成することは、3D コンピュータ ビジョンにおける重要なタスクです。コンピューター ビジョン アプリケーション全体で画像拡張が広く使用されているにもかかわらず、3D シーンのニューラル レンダリング メソッド (NRM) を学習する場合、その可能性は依然として十分に解明されていません。この論文では、NRM での画像拡張の使用に関する包括的な分析を示し、さまざまな拡張戦略を検討します。トレーニング中に画像拡張を導入すると、画像から NRM を学習する際の幾何学的な不一致や測光の不一致などの課題が生じることがわかりました。具体的には、拡張による形状、位置、方向の変化から幾何学的不一致が発生し、正確な 3D 再構成に必要な空間的手がかりが混乱します。一方、測光上の不一致は、拡張によってもたらされるピクセル強度の変化から生じ、シーンの基礎となる 3D 構造をキャプチャする能力に影響を与えます。私たちは、色の操作に焦点を当て、NRM が測光の変動を説明できるようにする学習可能な外観の埋め込みを導入することで、これらの問題を軽減します。私たちの実験では、測光品質と表面再構築の向上、トレーニング データの削減や画像劣化などのデータ品質問題に対する堅牢性の強化など、NRM の学習時に拡張機能を組み込む利点が実証されました。
Faithfully reconstructing 3D geometry and generating novel views of scenes are critical tasks in 3D computer vision. Despite the widespread use of image augmentations across computer vision applications, their potential remains underexplored when learning neural rendering methods (NRMs) for 3D scenes. This paper presents a comprehensive analysis of the use of image augmentations in NRMs, where we explore different augmentation strategies. We found that introducing image augmentations during training presents challenges such as geometric and photometric inconsistencies for learning NRMs from images. Specifically, geometric inconsistencies arise from alterations in shapes, positions, and orientations from the augmentations, disrupting spatial cues necessary for accurate 3D reconstruction. On the other hand, photometric inconsistencies arise from changes in pixel intensities introduced by the augmentations, affecting the ability to capture the underlying 3D structures of the scene. We alleviate these issues by focusing on color manipulations and introducing learnable appearance embeddings that allow NRMs to explain away photometric variations. Our experiments demonstrate the benefits of incorporating augmentations when learning NRMs, including improved photometric quality and surface reconstruction, as well as enhanced robustness against data quality issues, such as reduced training data and image degradations.