arXiv reaDer
Deep Matching Prior: 密な対応のためのテスト時間の最適化
Deep Matching Prior: Test-Time Optimization for Dense Correspondence
視覚的または意味的に類似した画像間で密な対応を確立するための従来の手法は、モデル化が困難なタスク固有のマッチング事前の設計に焦点を当てています。これを克服するために、最近の学習ベースの方法は、大規模なトレーニング データのモデル自体内で適切な事前一致を学習しようとしています。パフォーマンスの向上は明らかでしたが、十分なトレーニング データと集中的な学習が必要であるため、それらの適用は困難です。さらに、テスト時に固定モデルを使用しても、画像のペアが独自の事前学習を必要とする可能性があるという事実が考慮されていないため、パフォーマンスが制限され、目に見えない画像に対する一般化が不十分になります。この論文では、画像の入力ペアでトレーニングされていないマッチング ネットワークを最適化することによって、画像ペア固有の事前分布を取得できることを示します。密な対応のためのこのようなテスト時間の最適化のために調整された、残差マッチングネットワークと信頼性を意識した対照的な損失を提示して、意味のある収束を保証します。実験は、ディープ マッチング プライア (DMP) と呼ばれるこのフレームワークが、大規模なトレーニング データや集中的な学習を必要としないにもかかわらず、ジオメトリック マッチングとセマンティック マッチングのいくつかのベンチマークで、最新の学習ベースの方法に対して競争力があるか、またはそれを上回ることを示しています。ネットワークが事前にトレーニングされているため、DMP はすべてのベンチマークで最先端のパフォーマンスを実現します。
Conventional techniques to establish dense correspondences across visually or semantically similar images focused on designing a task-specific matching prior, which is difficult to model. To overcome this, recent learning-based methods have attempted to learn a good matching prior within a model itself on large training data. The performance improvement was apparent, but the need for sufficient training data and intensive learning hinders their applicability. Moreover, using the fixed model at test time does not account for the fact that a pair of images may require their own prior, thus providing limited performance and poor generalization to unseen images. In this paper, we show that an image pair-specific prior can be captured by solely optimizing the untrained matching networks on an input pair of images. Tailored for such test-time optimization for dense correspondence, we present a residual matching network and a confidence-aware contrastive loss to guarantee a meaningful convergence. Experiments demonstrate that our framework, dubbed Deep Matching Prior (DMP), is competitive, or even outperforms, against the latest learning-based methods on several benchmarks for geometric matching and semantic matching, even though it requires neither large training data nor intensive learning. With the networks pre-trained, DMP attains state-of-the-art performance on all benchmarks.
updated: Tue Aug 24 2021 06:02:49 GMT+0000 (UTC)
published: Sun Jun 06 2021 10:56:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト