arXiv reaDer
NOCaL: オドメトリとカメラ固有のキャリブレーション不要の半教師あり学習
NOCaL: Calibration-Free Semi-Supervised Learning of Odometry and Camera Intrinsics
ロボット工学に役立つ可能性のある新しいイメージング技術は数多くあります。ただし、オーダーメイドのモデル、キャリブレーション、および低レベルの処理の必要性は、それらの採用に対する主な障壁となっています。この作業では、ライト フィールドを使用した NOCaL、ニューラル オドメトリ、およびキャリブレーションを紹介します。これは、キャリブレーションなしで以前に見られなかったカメラを解釈できる半教師あり学習アーキテクチャです。 NOCaL は、カメラ パラメーター、相対的な姿勢、およびシーンの外観を推定することを学習します。これは、多数の既存のカメラとシーンで事前トレーニングされたシーン レンダリング ハイパーネットワークを採用し、メトリック スケールを適用するための小規模な教師ありトレーニング セットを使用して、これまでに見られなかったカメラに適応します。従来のカメラを使用してレンダリングおよびキャプチャされた画像で NOCaL を実証し、キャリブレーション不要のオドメトリと新しいビュー合成を実証します。この作業は、一般的なカメラのジオメトリと新しいイメージング技術の解釈を自動化するための重要なステップを表しています。
There are a multitude of emerging imaging technologies that could benefit robotics. However the need for bespoke models, calibration and low-level processing represents a key barrier to their adoption. In this work we present NOCaL, Neural odometry and Calibration using Light fields, a semi-supervised learning architecture capable of interpreting previously unseen cameras without calibration. NOCaL learns to estimate camera parameters, relative pose, and scene appearance. It employs a scene-rendering hypernetwork pretrained on a large number of existing cameras and scenes, and adapts to previously unseen cameras using a small supervised training set to enforce metric scale. We demonstrate NOCaL on rendered and captured imagery using conventional cameras, demonstrating calibration-free odometry and novel view synthesis. This work represents a key step toward automating the interpretation of general camera geometries and emerging imaging technologies.
updated: Fri Oct 14 2022 00:34:43 GMT+0000 (UTC)
published: Fri Oct 14 2022 00:34:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト