arXiv reaDer
密な自己教師あり表現学習のための集合の類似性の調査
Exploring Set Similarity for Dense Self-supervised Representation Learning
空間的対応を考慮することにより、密な自己教師あり表現学習は、さまざまな密な予測タスクで優れたパフォーマンスを実現しました。ただし、ピクセルレベルの対応は、背景など、類似した誤解を招くピクセルが多数あるため、ノイズが多い傾向があります。この問題に対処するために、この論文では、密な自己教師あり表現学習のための集合類似性(SetSim)を調査することを提案します。セットにはより多くのセマンティック情報と構造情報が含まれているため、ピクセル単位の類似性学習をセット単位の類似性学習に一般化して、ロバスト性を向上させます。具体的には、ビューの注意機能に頼ることにより、対応するセットを確立し、誤った対応を引き起こす可能性のあるノイズの多い背景を除外します。一方、これらの注意機能は、異なるビュー間で同じ画像の一貫性を維持して、セマンティックの不整合を軽減できます。セットのクロスビュー最近傍をさらに検索し、構造化された近傍情報を使用してロバスト性を強化します。経験的評価は、SetSimが、オブジェクト検出、キーポイント検出、インスタンスセグメンテーション、およびセマンティックセグメンテーションにおいて最先端の方法よりも優れていることを示しています。
By considering the spatial correspondence, dense self-supervised representation learning has achieved superior performance on various dense prediction tasks. However, the pixel-level correspondence tends to be noisy because of many similar misleading pixels, e.g., backgrounds. To address this issue, in this paper, we propose to explore set similarity (SetSim) for dense self-supervised representation learning. We generalize pixel-wise similarity learning to set-wise one to improve the robustness because sets contain more semantic and structure information. Specifically, by resorting to attentional features of views, we establish corresponding sets, thus filtering out noisy backgrounds that may cause incorrect correspondences. Meanwhile, these attentional features can keep the coherence of the same image across different views to alleviate semantic inconsistency. We further search the cross-view nearest neighbours of sets and employ the structured neighbourhood information to enhance the robustness. Empirical evaluations demonstrate that SetSim is superior to state-of-the-art methods on object detection, keypoint detection, instance segmentation, and semantic segmentation.
updated: Mon Jul 19 2021 09:38:27 GMT+0000 (UTC)
published: Mon Jul 19 2021 09:38:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト