arXiv reaDer
ContraNeRF:対照学習による合成から現実への新しいビュー合成のための一般化可能なニューラル放射輝度フィールド
ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning
最近の多くの研究では、目に見えないシーンの一般化可能な NeRF ベースの新しいビュー合成が調査されていますが、多くの実用的なアプリケーションで望まれる合成から現実への一般化はほとんど考慮されていません。この作業では、最初に、合成から実際の新しいビューへの合成における合成データの影響を調査し、驚くべきことに、合成データでトレーニングされたモデルは、よりシャープではあるが正確さは劣るボリューム密度を生成する傾向があることを観察します。体積密度が正しいピクセルについては、きめの細かい詳細が得られます。そうしないと、重大なアーティファクトが生成されます。合成データを使用することの利点を維持しながら、その悪影響を回避するために、ジオメトリを意識した対照的な学習を導入して、幾何学的な制約を持つマルチビューの一貫した機能を学習することを提案します。一方、入力ビュー全体でフィーチャをクエリすることにより、クロスビューの注意を採用して、フィーチャのジオメトリ認識をさらに強化します。実験は、合成から現実への設定の下で、私たちの方法がより高品質でより細かい詳細で画像をレンダリングできることを示しており、PSNR、SSIM、およびLPIPSに関して既存の一般化可能な新しいビュー合成方法よりも優れています。実際のデータでトレーニングすると、私たちの方法は最先端の結果も達成します。
Although many recent works have investigated generalizable NeRF-based novel view synthesis for unseen scenes, they seldom consider the synthetic-to-real generalization, which is desired in many practical applications. In this work, we first investigate the effects of synthetic data in synthetic-to-real novel view synthesis and surprisingly observe that models trained with synthetic data tend to produce sharper but less accurate volume densities. For pixels where the volume densities are correct, fine-grained details will be obtained. Otherwise, severe artifacts will be produced. To maintain the advantages of using synthetic data while avoiding its negative effects, we propose to introduce geometry-aware contrastive learning to learn multi-view consistent features with geometric constraints. Meanwhile, we adopt cross-view attention to further enhance the geometry perception of features by querying features across input views. Experiments demonstrate that under the synthetic-to-real setting, our method can render images with higher quality and better fine-grained details, outperforming existing generalizable novel view synthesis methods in terms of PSNR, SSIM, and LPIPS. When trained on real data, our method also achieves state-of-the-art results.
updated: Fri Jun 23 2023 02:09:42 GMT+0000 (UTC)
published: Mon Mar 20 2023 12:06:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト