ロボットの知覚を劇的に改善する可能性のある新しいイメージングデバイスのエキサイティングな多様性が出現している一方で、これらのカメラのキャリブレーションと解釈の課題により、ロボットコミュニティでの採用が制限されています。この作業では、教師なし学習の手法を一般化して、ロボットが新しい種類のカメラを自律的に解釈できるようにします。平面を通過する光線のセットを記述する4DLF関数のサブセットをキャプチャする新しいスパースライトフィールド(LF)カメラを検討します。オドメトリと深度の教師なし学習を可能にするスパースLFの一般化されたエンコーディングを紹介します。 4D画像を処理し、より正確なオドメトリと深度マップを生成し、これらをメートル法で提供するための単眼および従来の手法よりも優れた提案されたアプローチを示します。私たちの手法は、幅広いクラスのLFおよびスパースLFカメラに一般化し、ロボットの寿命全体にわたるカメラの動作の変化に対処するための教師なし再校正を可能にすることを期待しています。この作業は、ロボット工学アプリケーションにおける新しい種類のイメージングデバイスの統合を合理化するための第一歩を表しています。
While an exciting diversity of new imaging devices is emerging that could dramatically improve robotic perception, the challenges of calibrating and interpreting these cameras have limited their uptake in the robotics community. In this work we generalise techniques from unsupervised learning to allow a robot to autonomously interpret new kinds of cameras. We consider emerging sparse light field (LF) cameras, which capture a subset of the 4D LF function describing the set of light rays passing through a plane. We introduce a generalised encoding of sparse LFs that allows unsupervised learning of odometry and depth. We demonstrate the proposed approach outperforming monocular and conventional techniques for dealing with 4D imagery, yielding more accurate odometry and depth maps and delivering these with metric scale. We anticipate our technique to generalise to a broad class of LF and sparse LF cameras, and to enable unsupervised recalibration for coping with shifts in camera behaviour over the lifetime of a robot. This work represents a first step toward streamlining the integration of new kinds of imaging devices in robotics applications.