arXiv reaDer
深度ガイド付きカモフラージュオブジェクト検出
Depth-Guided Camouflaged Object Detection
カモフラージュされたオブジェクトの検出(COD)は、環境内に隠れているカモフラージュされたオブジェクトをセグメント化することを目的としています。生物学の研究では、すべての動物が3D知覚能力を持っているため、深度がカモフラージュされた物体の発見に役立つ物体の位置特定の手がかりを提供できることが示唆されています。ただし、深度情報は、カモフラージュされたオブジェクトの検出には利用されていません。カモフラージュ検出のための深度の寄与を調査するために、既存の単眼深度推定方法から事前に計算された深度マップを使用して、深度ガイド付きカモフラージュオブジェクト検出ネットワークを提示します。深度推定データセットとカモフラージュされたオブジェクト検出データセットの間のドメインギャップのため、生成された深度は、フレームワークで直接使用するのに十分な精度ではない可能性があります。次に、RGBCODブランチとRGB-DCODブランチの両方からのモデル予測に基づいて深度の品質を評価するための深度品質評価モジュールを紹介します。トレーニング中、マルチモーダル学習用のモーダルインタラクションモジュールを更新するために、高品質の深度のみが使用されます。テスト中、深度品質評価モジュールは深度の寄与を効果的に決定し、カモフラージュ予測のためにRGBブランチまたはRGB-Dブランチを選択できます。さまざまなカモフラージュされたオブジェクト検出データセットでの広範な実験により、カモフラージュされたオブジェクト検出の深度情報を探索する上でのソリューションの有効性が証明されています。私たちのコードとデータは、https://github.com/JingZhang617/RGBD-CODで公開されています。
Camouflaged object detection (COD) aims to segment camouflaged objects hiding in the environment, which is challenging due to the similar appearance of camouflaged objects and their surroundings. Research in biology suggests that depth can provide useful object localization cues for camouflaged object discovery, as all the animals have 3D perception ability. However, the depth information has not been exploited for camouflaged object detection. To explore the contribution of depth for camouflage detection, we present a depth-guided camouflaged object detection network with pre-computed depth maps from existing monocular depth estimation methods. Due to the domain gap between the depth estimation dataset and our camouflaged object detection dataset, the generated depth may not be accurate enough to be directly used in our framework. We then introduce a depth quality assessment module to evaluate the quality of depth based on the model prediction from both RGB COD branch and RGB-D COD branch. During training, only high-quality depth is used to update the modal interaction module for multi-modal learning. During testing, our depth quality assessment module can effectively determine the contribution of depth and select the RGB branch or RGB-D branch for camouflage prediction. Extensive experiments on various camouflaged object detection datasets prove the effectiveness of our solution in exploring the depth information for camouflaged object detection. Our code and data is publicly available at: https://github.com/JingZhang617/RGBD-COD.
updated: Sat Jun 26 2021 03:38:01 GMT+0000 (UTC)
published: Thu Jun 24 2021 17:51:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト