堅牢な視点不変のキーポイントを検出して照合することは、視覚的なSLAMとStructure-from-Motionにとって重要です。最先端の学習ベースの方法は、ホモグラフィ適応を介してトレーニングサンプルを生成し、単一の画像から既知のキーポイント一致を使用して2D合成ビューを作成します。ただし、このアプローチは、実際のビデオで一般的に見られる照明の変化を伴う非平面の3Dシーンには一般化されません。この作業では、ラベルのないビデオから直接、深さを意識したキーポイントの教師あり学習を提案します。プロクラステスの残差ポーズ補正に基づく微分可能なモーションからの構造モジュールを介して外観と幾何学的マッチングを組み合わせることにより、キーポイントと深度の推定ネットワークを共同で学習します。自己監視キーポイントを最先端の視覚オドメトリフレームワークに統合して、実世界の条件で自動運転車の堅牢で正確な自我運動推定を行う方法について説明します。
Detecting and matching robust viewpoint-invariant keypoints is critical for visual SLAM and Structure-from-Motion. State-of-the-art learning-based methods generate training samples via homography adaptation to create 2D synthetic views with known keypoint matches from a single image. This approach, however, does not generalize to non-planar 3D scenes with illumination variations commonly seen in real-world videos. In this work, we propose self-supervised learning of depth-aware keypoints directly from unlabeled videos. We jointly learn keypoint and depth estimation networks by combining appearance and geometric matching via a differentiable structure-from-motion module based on Procrustean residual pose correction. We describe how our self-supervised keypoints can be integrated into state-of-the-art visual odometry frameworks for robust and accurate ego-motion estimation of autonomous vehicles in real-world conditions.