RGBと深度データの合理的な採用は、コンピュータービジョンタスクとロボットと環境の相互作用の開発を促進する上で大きな意味を示しています。ただし、2種類のデータの早期融合と後期融合には、さまざまな長所と短所があります。さらに、オブジェクト情報は多様であるため、特定のシナリオで単一のタイプのデータを使用すると、セマンティックの誤解を招く傾向があります。上記の考察に基づいて、我々は、顕著な物体検出のためのResinRes構造を備えた適応協調融合ネットワーク(ACFNet)を提案する。この構造は、初期段階と後期段階で機能融合の利点を柔軟に利用するように設計されています。第二に、適応協調セマンティックガイダンス(ACG)スキームは、ガイダンスフェーズで不正確な機能を抑制するように設計されています。さらに、ネットワークを最適化し、さまざまなオブジェクトのマルチスケール知覚を強化するために、タイプベースの注意モジュール(TAM)を提案しました。さまざまなオブジェクトについて、さまざまなタイプの畳み込みによって生成された機能は、セグメンテーション最適化のゲートメカニズムによって強化または抑制されます。 ACGとTAMは、それぞれデータ属性と畳み込み属性に従って機能ストリームの転送を最適化します。 RGB-D SODデータセットで実施された十分な実験は、提案されたネットワークが18の最先端のアルゴリズムに対して良好に機能することを示しています。
The reasonable employment of RGB and depth data show great significance in promoting the development of computer vision tasks and robot-environment interaction. However, there are different advantages and disadvantages in the early and late fusion of the two types of data. Besides, due to the diversity of object information, using a single type of data in a specific scenario tends to result in semantic misleading. Based on the above considerations, we propose an adaptively-cooperative fusion network (ACFNet) with ResinRes structure for salient object detection. This structure is designed to flexibly utilize the advantages of feature fusion in early and late stages. Secondly, an adaptively-cooperative semantic guidance (ACG) scheme is designed to suppress inaccurate features in the guidance phase. Further, we proposed a type-based attention module (TAM) to optimize the network and enhance the multi-scale perception of different objects. For different objects, the features generated by different types of convolution are enhanced or suppressed by the gated mechanism for segmentation optimization. ACG and TAM optimize the transfer of feature streams according to their data attributes and convolution attributes, respectively. Sufficient experiments conducted on RGB-D SOD datasets illustrate that the proposed network performs favorably against 18 state-of-the-art algorithms.