arXiv reaDer
Improve CAM with Auto-adapted Segmentation and Co-supervised Augmentation
弱教師ありオブジェクトローカリゼーション(WSOL)メソッドは、画像カテゴリラベルのみから学習することにより、分類とローカリゼーションの両方の結果を生成します。以前の方法では、通常、クラスアクティベーションマップ(CAM)を使用してターゲットオブジェクト領域を取得します。ただし、それらのほとんどはCAMの前景オブジェクト部分の改善にのみ焦点を当てており、背景コンテンツの重要な効果を無視しています。この論文では、追加のハイパーパラメータを導入することなく、CAMの各ピクセルの信頼スコアを構築する信頼セグメンテーション(ConfSeg)モジュールを提案します。生成されたサンプル固有の信頼マスクは、CAMの各ピクセルの決定の範囲を示すことができ、内部機能マップから拡張された追加のCAMをさらに監視します。さらに、CAMの前景部分と背景部分の機能レベルの表現を個別にキャプチャするためのCo-supervised Augmentation(CoAug)モジュールを導入します。次に、メトリック損失がバッチサンプルレベルで適用され、モデルの識別能力が強化されます。これは、より関連性の高いオブジェクトパーツをローカライズするのに大いに役立ちます。最終モデルのCSoAは、2つのモジュールを組み合わせて、優れたパフォーマンスを実現します。たとえば、CUB-200およびILSVRCデータセットでそれぞれ37.69%および48.81%のトップ1ローカリゼーションエラーを実現します。これは、以前のすべての方法を上回り、新しい最先端技術になります。 -アート。
Weakly Supervised Object Localization (WSOL) methods generate both classification and localization results by learning from only image category labels. Previous methods usually utilize class activation map (CAM) to obtain target object regions. However, most of them only focus on improving foreground object parts in CAM, but ignore the important effect of its background contents. In this paper, we propose a confidence segmentation (ConfSeg) module that builds confidence score for each pixel in CAM without introducing additional hyper-parameters. The generated sample-specific confidence mask is able to indicate the extent of determination for each pixel in CAM, and further supervises additional CAM extended from internal feature maps. Besides, we introduce Co-supervised Augmentation (CoAug) module to capture feature-level representation for foreground and background parts in CAM separately. Then a metric loss is applied at batch sample level to augment distinguish ability of our model, which helps a lot to localize more related object parts. Our final model, CSoA, combines the two modules and achieves superior performance, e.g. 37.69% and 48.81% Top-1 localization error on CUB-200 and ILSVRC datasets, respectively, which outperforms all previous methods and becomes the new state-of-the-art.
updated: Wed Jan 13 2021 15:15:37 GMT+0000 (UTC)
published: Sun Nov 17 2019 06:12:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト