このホワイトペーパーでは、既存の顕著オブジェクト検出(SOD)データセットの深刻な設計バイアスを特定して対処します。これは、各画像に少なくとも1つの明確で整頓された顕著オブジェクトが含まれていることを非現実的に想定しています。この設計バイアスにより、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスが飽和状態になりました。ただし、これらのモデルを実際のシーンに適用した場合、まだ満足のいくものではありません。分析に基づいて、新しい高品質のデータセットを提案し、以前の顕著性ベンチマークを更新します。具体的には、Clutter〜(SOC)のSalient Objectsと呼ばれるデータセットには、いくつかの一般的なオブジェクトカテゴリからの顕著なオブジェクトと非顕著なオブジェクトの両方を含む画像が含まれています。オブジェクトカテゴリの注釈に加えて、各顕著な画像には、一般的なシーンでの一般的な課題を反映する属性が付随しており、SODの問題に対するより深い洞察を提供するのに役立ちます。さらに、特定の顕著性エンコーダ、たとえばバックボーンネットワークを使用して、既存の顕著性モデルは、トレーニング画像セットからトレーニンググラウンドトゥルースセットへのマッピングを実現するように設計されています。したがって、データセットを改善すると、デコーダーの設計のみに焦点を当てるよりもパフォーマンスが向上する可能性があると主張します。これを念頭に置いて、顕著な境界を暗黙的に強調するラベル平滑化、顕著性モデルをさまざまなシナリオに適応させるランダムな画像拡張、小さなデータセットから学習するための正則化戦略としての自己監視学習など、いくつかのデータセット拡張戦略を調査します。私たちの広範な結果は、これらのトリックの有効性を示しています。また、SODの包括的なベンチマークも提供しています。これは、リポジトリhttps://github.com/DengPingFan/SODBenchmarkにあります。
This paper identifies and addresses a serious design bias of existing salient object detection (SOD) datasets, which unrealistically assume that each image should contain at least one clear and uncluttered salient object. This design bias has led to a saturation in performance for state-of-the-art SOD models when evaluated on existing datasets. However, these models are still far from satisfactory when applied to real-world scenes. Based on our analyses, we propose a new high-quality dataset and update the previous saliency benchmark. Specifically, our dataset, called Salient Objects in Clutter~(SOC), includes images with both salient and non-salient objects from several common object categories. In addition to object category annotations, each salient image is accompanied by attributes that reflect common challenges in common scenes, which can help provide deeper insight into the SOD problem. Further, with a given saliency encoder, e.g., the backbone network, existing saliency models are designed to achieve mapping from the training image set to the training ground-truth set. We, therefore, argue that improving the dataset can yield higher performance gains than focusing only on the decoder design. With this in mind, we investigate several dataset-enhancement strategies, including label smoothing to implicitly emphasize salient boundaries, random image augmentation to adapt saliency models to various scenarios, and self-supervised learning as a regularization strategy to learn from small datasets. Our extensive results demonstrate the effectiveness of these tricks. We also provide a comprehensive benchmark for SOD, which can be found in our repository: https://github.com/DengPingFan/SODBenchmark.