arXiv reaDer
Free Lunch for Co-Saliency Detection: Context Adjustment
普及している共顕著性検出システムの長年の問題を明らかにします。トレーニングとテストの間には確かに矛盾があります。高品質の共顕著性検出データセットの構築には、時間と労力を要するピクセルレベルのラベリングが含まれるため、最近の作業では、トレーニングのためにセマンティックセグメンテーションまたは顕著性検出データセットに依存する必要があります。ただし、これらのデータセットに適切な共顕著性がなく、複数の前景オブジェクトがない場合、モデルによって学習された偽の変動や固有のバイアスが発生する可能性があります。これに取り組むために、コンテキスト調整による反事実的トレーニングのアイデアを紹介し、既製の顕著性検出データセットからの画像を活用して新しいサンプルを合成する「コストフリー」のグループカットペースト(GCP)手順を提案します。 GCPに続いて、コンテキスト調整トレーニングと呼ばれる新しいデータセットを収集します。データセットの2つのバリアント、つまりCATとCAT +は、それぞれ16,750枚と33,500枚の画像で構成されています。すべての画像には、高品質のマスクで自動的に注釈が付けられます。副産物として、他の関連作業を容易にするために、オブジェクトカテゴリとエッジ情報も提供されます。データセットの優位性を実証するために、最先端のモデルを使用した広範な実験が実施されています。 CAT / CAT +の規模、多様性、品質が、この分野およびそれ以降の研究者に役立つことを願っています。データセットとベンチマークツールキットには、プロジェクトページからアクセスできます。
We unveil a long-standing problem in the prevailing co-saliency detection systems: there is indeed inconsistency between training and testing. Constructing a high-quality co-saliency detection dataset involves time-consuming and labor-intensive pixel-level labeling, which has forced most recent works to rely instead on semantic segmentation or saliency detection datasets for training. However, the lack of proper co-saliency and the absence of multiple foreground objects in these datasets can lead to spurious variations and inherent biases learned by models. To tackle this, we introduce the idea of counterfactual training through context adjustment, and propose a "cost-free" group-cut-paste (GCP) procedure to leverage images from off-the-shelf saliency detection datasets and synthesize new samples. Following GCP, we collect a novel dataset called Context Adjustment Training. The two variants of our dataset, i.e., CAT and CAT+, consist of 16,750 and 33,500 images, respectively. All images are automatically annotated with high-quality masks. As a side-product, object categories, as well as edge information, are also provided to facilitate other related works. Extensive experiments with state-of-the-art models are conducted to demonstrate the superiority of our dataset. We hope that the scale, diversity, and quality of CAT/CAT+ can benefit researchers in this area and beyond. The dataset and benchmark toolkit will be accessible through our project page.
updated: Wed Aug 04 2021 14:51:37 GMT+0000 (UTC)
published: Wed Aug 04 2021 14:51:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト