従来の推定量と深くロバストな推定量の利点を組み合わせたDeepMAGSAC ++を提案します。幾何学的に正当な方法で、部分的にアフィンな共変特徴、たとえばSIFTからの方向とスケールを活用する新しい損失関数を紹介します。新しい損失は、基になるシーンジオメトリに関する高次の情報を学習するのに役立ちます。さらに、インライアのみで構成される可能性が最も高いサンプルを常に選択するRANSAC用の新しいサンプラーを提案します。反復が失敗するたびに、ベイジアンアプローチを介して原則的な方法で確率が更新されます。ディープネットワークの予測は、サンプラー内で以前と同様に活用されます。 Deep MAGSAC ++は、新しい損失、提案されたサンプラー、および多くの技術的進歩の恩恵を受けて、公開されているデータセットからの数千の画像ペアの精度と実行時間の両方の点で、最先端のものよりも優れています。および基本行列の推定。
We propose Deep MAGSAC++ combining the advantages of traditional and deep robust estimators. We introduce a novel loss function that exploits the orientation and scale from partially affine covariant features, e.g., SIFT, in a geometrically justifiable manner. The new loss helps in learning higher-order information about the underlying scene geometry. Moreover, we propose a new sampler for RANSAC that always selects the sample with the highest probability of consisting only of inliers. After every unsuccessful iteration, the probabilities are updated in a principled way via a Bayesian approach. The prediction of the deep network is exploited as prior inside the sampler. Benefiting from the new loss, the proposed sampler, and a number of technical advancements, Deep MAGSAC++ is superior to the state-of-the-art both in terms of accuracy and run-time on thousands of image pairs from publicly available datasets for essential and fundamental matrix estimation.