arXiv reaDer
民主主義は重要です:Co-Salientオブジェクト検出のための包括的な機能マイニング
Democracy Does Matter: Comprehensive Feature Mining for Co-Salient Object Detection
画像群の中で共存する顕著な物体を検出することを目的とした、共存物体検出が人気を集めています。最近の作品では、注意メカニズムまたは追加情報を使用して、共通の顕著な特徴を集約しているため、ターゲットオブジェクトに対する応答が不完全でさえあります。この論文では、民主主義を備えた包括的な共顕著な特徴をマイニングし、追加情報を導入することなくバックグラウンド干渉を減らすことを目指しています。これを実現するために、民主的なプロトタイプ生成モジュールを設計して、民主的な応答マップを生成し、十分な共顕著領域をカバーし、それによって共顕著オブジェクトのより多くの共有属性を含めます。次に、応答マップに基づく包括的なプロトタイプを、最終的な予測のガイドとして生成できます。プロトタイプのノイズの多い背景情報を抑制するために、追加の分類情報に依存せずに正と負の両方のペアが形成される自己対照学習モジュールを提案します。さらに、アテンション値を再調整することにより、共顕著な機能をさらに強化するための民主的な機能拡張モジュールも設計します。広範な実験により、私たちのモデルは、特に挑戦的な現実世界のケースで、以前の最先端の方法よりも優れたパフォーマンスを得ることが示されています(たとえば、CoCAの場合、MAEで2.0%、最大F値で5.4%のゲインが得られます、同じ設定で最大Eメジャーの場合は2.3%、Sメジャーの場合は3.7%)。コードはまもなくリリースされます。
Co-salient object detection, with the target of detecting co-existed salient objects among a group of images, is gaining popularity. Recent works use the attention mechanism or extra information to aggregate common co-salient features, leading to incomplete even incorrect responses for target objects. In this paper, we aim to mine comprehensive co-salient features with democracy and reduce background interference without introducing any extra information. To achieve this, we design a democratic prototype generation module to generate democratic response maps, covering sufficient co-salient regions and thereby involving more shared attributes of co-salient objects. Then a comprehensive prototype based on the response maps can be generated as a guide for final prediction. To suppress the noisy background information in the prototype, we propose a self-contrastive learning module, where both positive and negative pairs are formed without relying on additional classification information. Besides, we also design a democratic feature enhancement module to further strengthen the co-salient features by readjusting attention values. Extensive experiments show that our model obtains better performance than previous state-of-the-art methods, especially on challenging real-world cases (e.g., for CoCA, we obtain a gain of 2.0% for MAE, 5.4% for maximum F-measure, 2.3% for maximum E-measure, and 3.7% for S-measure) under the same settings. Code will be released soon.
updated: Fri Mar 11 2022 08:02:20 GMT+0000 (UTC)
published: Fri Mar 11 2022 08:02:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト