ニューラル ラディアンス フィールド (NeRF) は、新しいビュー合成において大きな成功を収めています。ただし、実世界のシーンでは、ソース画像から高品質の詳細を復元することは、不完全なキャリブレーション情報とシーン表現の不正確さの可能性があるため、既存の NeRF ベースのアプローチでは依然として困難です。高品質のトレーニング フレームを使用しても、NeRF モデルによって生成された合成の新しいビューは、ノイズ、ぼかしなどの顕著なレンダリング アーティファクトに悩まされています。NeRF ベースのアプローチの合成品質を向上させるために、一般的な NeRF である NeRFLiX を提案します。劣化駆動の視点間ミキサーを学習することによる、非依存の復元パラダイム。特に、NeRF スタイルの劣化モデリング アプローチを設計し、大規模なトレーニング データを構築して、既存のディープ ニューラル ネットワークの NeRF ネイティブ レンダリング アーティファクトを効果的に除去できるようにします。さらに、劣化の除去を超えて、関連性の高い高品質のトレーニング画像を融合できる視点間集約フレームワークを提案し、最先端の NeRF モデルのパフォーマンスをまったく新しいレベルに押し上げ、高度にフォトリアリスティックな合成ビューを生成します。
Neural radiance fields (NeRF) show great success in novel view synthesis. However, in real-world scenes, recovering high-quality details from the source images is still challenging for the existing NeRF-based approaches, due to the potential imperfect calibration information and scene representation inaccuracy. Even with high-quality training frames, the synthetic novel views produced by NeRF models still suffer from notable rendering artifacts, such as noise, blur, etc. Towards to improve the synthesis quality of NeRF-based approaches, we propose NeRFLiX, a general NeRF-agnostic restorer paradigm by learning a degradation-driven inter-viewpoint mixer. Specially, we design a NeRF-style degradation modeling approach and construct large-scale training data, enabling the possibility of effectively removing NeRF-native rendering artifacts for existing deep neural networks. Moreover, beyond the degradation removal, we propose an inter-viewpoint aggregation framework that is able to fuse highly related high-quality training images, pushing the performance of cutting-edge NeRF models to entirely new levels and producing highly photo-realistic synthetic views.