この作業では、任意の非線形歪みを持つ一般的なカメラのカメラセルフキャリブレーションアルゴリズムを提案します。キャリブレーションオブジェクトを使用せずに、シーンのジオメトリと正確なカメラパラメータを共同で学習します。私たちのカメラモデルは、ピンホールモデル、4次の放射状歪み、および任意の非線形カメラ歪みを学習できる一般的なノイズモデルで構成されています。従来のセルフキャリブレーションアルゴリズムは主に幾何学的制約に依存していますが、さらに測光の一貫性を組み込んでいます。これにはシーンのジオメトリを学習する必要があり、Neural Radiance Fields(NeRF)を使用します。また、複雑な非線形カメラモデルの幾何学的一貫性を組み込むために、新しい幾何学的損失関数、つまり投影光線距離損失を提案します。標準の実画像データセットに対するアプローチを検証し、モデルがCOLMAPの初期化なしでカメラの内因性と外因性(ポーズ)を最初から学習できることを示します。また、微分可能な方法で正確なカメラモデルを学習することで、ベースラインよりもPSNRを改善できることを示します。私たちのモジュールは、パフォーマンスを向上させるためにNeRFバリアントに適用できる使いやすいプラグインです。コードとデータは現在https://github.com/POSTECH-CVLab/SCNeRFで入手できます。
In this work, we propose a camera self-calibration algorithm for generic cameras with arbitrary non-linear distortions. We jointly learn the geometry of the scene and the accurate camera parameters without any calibration objects. Our camera model consists of a pinhole model, a fourth order radial distortion, and a generic noise model that can learn arbitrary non-linear camera distortions. While traditional self-calibration algorithms mostly rely on geometric constraints, we additionally incorporate photometric consistency. This requires learning the geometry of the scene, and we use Neural Radiance Fields (NeRF). We also propose a new geometric loss function, viz., projected ray distance loss, to incorporate geometric consistency for complex non-linear camera models. We validate our approach on standard real image datasets and demonstrate that our model can learn the camera intrinsics and extrinsics (pose) from scratch without COLMAP initialization. Also, we show that learning accurate camera models in a differentiable manner allows us to improve PSNR over baselines. Our module is an easy-to-use plugin that can be applied to NeRF variants to improve performance. The code and data are currently available at https://github.com/POSTECH-CVLab/SCNeRF.