顕著な物体検出(SOD)は、コンピュータービジョンにおける長年の研究トピックであり、過去10年間でますます多くの研究関心を集めています。このペーパーは、顕著性コミュニティで長い間欠けていたライトフィールドSODの最初の包括的なレビューとベンチマークを提供します。まず、理論やデータ形式を含むライトフィールドに関する予備知識を紹介し、次にライトフィールドSODに関する既存の研究をレビューします。これには、10の従来モデル、7つの深層学習ベースのモデル、1つの比較研究、1つの簡単なレビューが含まれます。ライトフィールドSODの既存のデータセットも、詳細情報と統計分析とともに要約されています。次に、9つの代表的なライトフィールドSODモデルといくつかの最先端のRGB-D SODモデルを、広く使用されている4つのライトフィールドデータセットでベンチマークします。このデータセットから、ライトフィールドSODモデルとRGB-DSODモデルの比較を含む洞察に満ちた議論と分析が行われます。達成されます。さらに、現在の形式のデータセットには一貫性がないため、完全なデータをさらに生成し、一貫性のないデータセットのフォーカルスタック、深度マップ、マルチビュー画像を補足して、一貫性と統一性を高めます。私たちの補足データは、普遍的なベンチマークを可能にします。最後に、ライトフィールドSODは、その多様なデータ表現と取得ハードウェアへの高い依存性に起因する非常に特殊な問題であり、他の顕著性検出タスクとは大きく異なるため、課題と将来の方向性に関する9つのヒントを提供し、いくつかの未解決の問題について概説します。 。私たちのレビューとベンチマークがこの分野の研究を進めるのに役立つことを願っています。収集されたモデル、データセット、ベンチマーク結果、補足されたライトフィールドデータセットを含むすべての資料は、プロジェクトサイトhttps://github.com/kerenfu/LFSOD-Surveyで公開されます。
Salient object detection (SOD) is a long-standing research topic in computer vision and has drawn an increasing amount of research interest in the past decade. This paper provides the first comprehensive review and benchmark for light field SOD, which has long been lacking in the saliency community. Firstly, we introduce preliminary knowledge on light fields, including theory and data forms, and then review existing studies on light field SOD, covering ten traditional models, seven deep learning-based models, one comparative study, and one brief review. Existing datasets for light field SOD are also summarized with detailed information and statistical analyses. Secondly, we benchmark nine representative light field SOD models together with several cutting-edge RGB-D SOD models on four widely used light field datasets, from which insightful discussions and analyses, including a comparison between light field SOD and RGB-D SOD models, are achieved. Besides, due to the inconsistency of datasets in their current forms, we further generate complete data and supplement focal stacks, depth maps and multi-view images for the inconsistent datasets, making them consistent and unified. Our supplemental data makes a universal benchmark possible. Lastly, because light field SOD is quite a special problem attributed to its diverse data representations and high dependency on acquisition hardware, making it differ greatly from other saliency detection tasks, we provide nine hints into the challenges and future directions, and outline several open issues. We hope our review and benchmarking could help advance research in this field. All the materials including collected models, datasets, benchmarking results, and supplemented light field datasets will be publicly available on our project site https://github.com/kerenfu/LFSOD-Survey.