過去数年間で、RGB画像から顕著なオブジェクトをセグメント化するタスクに対処するために多数の深層学習方法が提案されてきました。ただし、単一のモダリティに依存するこれらのアプローチでは、大規模な自然画像を収集し、マルチビューなどの複数のモダリティを提供する、広く使用されているライトフィールドの顕著なオブジェクト検出(SOD)データセットで最先端のパフォーマンスを実現できません。マイクロレンズ画像と深度マップ。最近提案されたライトフィールドSOD法は、検出精度の向上を獲得しましたが、それでも粗いオブジェクトの構造を予測し、遅い推論速度を実行します。この目的のために、我々は、オールインフォーカスと深さのモダリティからの高レベルの特徴を融合することを目的とした、2つの新しいカスケード相互注意モジュールで構成されるCMA-Netを提案します。私たちが提案したCMA-Netは、広く適用されている2つのライトフィールドベンチマークデータセットで、30のSODメソッドを(大幅に)上回っています。さらに、提案されたCMA-Netは53 fpsの速度で実行できるため、最先端のマルチモーダルSODメソッドよりも4倍高速です。広範な定量的および定性的実験は、CMA-Netの有効性と効率の両方を示しており、RGB-DとライトフィールドSODの両方のマルチモーダル学習の将来の開発を刺激します。
In the past few years, numerous deep learning methods have been proposed to address the task of segmenting salient objects from RGB images. However, these approaches depending on single modality fail to achieve the state-of-the-art performance on widely used light field salient object detection (SOD) datasets, which collect large-scale natural images and provide multiple modalities such as multi-view, micro-lens images and depth maps. Most recently proposed light field SOD methods have acquired improving detecting accuracy, yet still predict rough objects' structures and perform slow inference speed. To this end, we propose CMA-Net, which consists of two novel cascaded mutual attention modules aiming at fusing the high level features from the modalities of all-in-focus and depth. Our proposed CMA-Net outperforms 30 SOD methods (by a large margin) on two widely applied light field benchmark datasets. Besides, the proposed CMA-Net can run at a speed of 53 fps, thus being four times faster than the state-of-the-art multi-modal SOD methods. Extensive quantitative and qualitative experiments illustrate both the effectiveness and efficiency of our CMA-Net, inspiring future development of multi-modal learning for both the RGB-D and light field SOD.