コンピュータビジョンの本質的な問題として、顕著な物体検出(SOD)は、長年にわたってますます多くの研究の注目を集めています。 SODの最近の進歩は、主にディープラーニングベースのソリューション(ディープSODと呼ばれる)によって主導されています。深いSODを深く理解できるようにするために、このペーパーでは、アルゴリズムの分類法から未解決の問題に至るまで、さまざまな側面をカバーする包括的な調査を提供します。特に、最初に、ネットワークアーキテクチャ、監視レベル、学習パラダイム、オブジェクト/インスタンスレベルの検出など、さまざまな観点からディープSODアルゴリズムを確認します。その後、既存のSODデータセットと評価指標を要約して分析します。次に、代表的なSODモデルの大規模なグループのベンチマークを行い、比較結果の詳細な分析を提供します。さらに、さまざまな顕著なオブジェクトタイプ、挑戦的な要因、およびシーンカテゴリをカバーする豊富な属性アノテーションを備えた新しいSODデータセットを構築することにより、これまで十分に検討されていなかったさまざまな属性設定でのSODアルゴリズムのパフォーマンスを研究します。さらに、フィールドで初めて、ランダムな入力摂動と敵対的攻撃に対するSODモデルの堅牢性を分析します。また、既存のSODデータセットの一般化と難しさについても調べます。最後に、SODのいくつかの未解決の問題について説明し、今後の研究の方向性について概説します。
As an essential problem in computer vision, salient object detection (SOD) has attracted an increasing amount of research attention over the years. Recent advances in SOD are predominantly led by deep learning-based solutions (named deep SOD). To enable in-depth understanding of deep SOD, in this paper, we provide a comprehensive survey covering various aspects, ranging from algorithm taxonomy to unsolved issues. In particular, we first review deep SOD algorithms from different perspectives, including network architecture, level of supervision, learning paradigm, and object-/instance-level detection. Following that, we summarize and analyze existing SOD datasets and evaluation metrics. Then, we benchmark a large group of representative SOD models, and provide detailed analyses of the comparison results. Moreover, we study the performance of SOD algorithms under different attribute settings, which has not been thoroughly explored previously, by constructing a novel SOD dataset with rich attribute annotations covering various salient object types, challenging factors, and scene categories. We further analyze, for the first time in the field, the robustness of SOD models to random input perturbations and adversarial attacks. We also look into the generalization and difficulty of existing SOD datasets. Finally, we discuss several open issues of SOD and outline future research directions.