意味的に関連する画像間の密な対応は広く研究されていますが、2つの課題に直面しています:1)同じカテゴリのオブジェクトでも外観、スケール、ポーズに大きなばらつきが存在する、2)ピクセルレベルの密な対応にラベルを付けることは労働集約的で実行不可能ですスケーリングします。ほとんどの既存のアプローチは、完全に監視されたImageNet事前トレーニング済みネットワークを使用したさまざまなマッチングアプローチの設計に焦点を合わせています。一方、画像レベルの類似性を明示的に測定するためにさまざまな自己監視アプローチが提案されていますが、ピクセルレベルに一致する対応は十分に検討されていません。この作業では、ImageNetの事前トレーニング済みモデルに依存しない、セマンティックマッチングのためのマルチレベルの対照学習アプローチを提案します。画像レベルの対照学習は、畳み込み特徴が類似のオブジェクト間の対応を見つけることを促進するための重要なコンポーネントであり、中間の特徴レベルでインスタンス間のサイクルの一貫性を正規化することでパフォーマンスをさらに向上させることができることを示します。 PF-PASCAL、PF-WILLOW、およびSPair-71kベンチマークデータセットの実験結果は、私たちの方法が最先端のアプローチに対して有利に機能することを示しています。ソースコードとトレーニング済みモデルは一般に公開されます。
Dense correspondence across semantically related images has been extensively studied, but still faces two challenges: 1) large variations in appearance, scale and pose exist even for objects from the same category, and 2) labeling pixel-level dense correspondences is labor intensive and infeasible to scale. Most existing approaches focus on designing various matching approaches with fully-supervised ImageNet pretrained networks. On the other hand, while a variety of self-supervised approaches are proposed to explicitly measure image-level similarities, correspondence matching the pixel level remains under-explored. In this work, we propose a multi-level contrastive learning approach for semantic matching, which does not rely on any ImageNet pretrained model. We show that image-level contrastive learning is a key component to encourage the convolutional features to find correspondence between similar objects, while the performance can be further enhanced by regularizing cross-instance cycle-consistency at intermediate feature levels. Experimental results on the PF-PASCAL, PF-WILLOW, and SPair-71k benchmark datasets demonstrate that our method performs favorably against the state-of-the-art approaches. The source code and trained models will be made available to the public.