arXiv reaDer
RGB-D顕著な物体検出のためのモーダル適応ゲート記録ネットワーク
Modal-Adaptive Gated Recoding Network for RGB-D Salient Object Detection
RGB-D情報に基づくマルチモーダル顕著なオブジェクト検出モデルは、実世界でより優れた堅牢性を備えています。ただし、機能融合フェーズで効果的なマルチモーダル情報のバランスをより適切に調整することは重要です。この手紙では、2つのモードの情報の妥当性を評価し、それらの影響のバランスをとるために、新しいゲート付き記録ネットワーク(GRNet)を提案します。私たちのフレームワークは、知覚フェーズ、記録混合フェーズ、特徴統合フェーズの3つのフェーズに分かれています。まず、知覚エンコーダーを採用して、マルチレベルのシングルモーダル特徴を抽出します。これにより、マルチモーダルセマンティック比較分析の基礎が築かれます。次に、無効な情報を抑制し、有効なモーダル機能を記録ミキサーとハイブリッド分岐デコーダーに転送するために、モーダル適応ゲートユニット(MGU)が提案されます。再コーディングミキサーは、バランスの取れたマルチモーダル情報の再コーディングとミキシングを担当します。最後に、ハイブリッドブランチデコーダーは、オプションのエッジガイダンスストリーム(OEGS)のガイダンスの下で、マルチレベル機能の統合を完了します。 8つの人気のあるベンチマークでの実験と分析により、私たちのフレームワークが9つの最先端の方法に対して良好に機能することが確認されています。
The multi-modal salient object detection model based on RGB-D information has better robustness in the real world. However, it remains nontrivial to better adaptively balance effective multi-modal information in the feature fusion phase. In this letter, we propose a novel gated recoding network (GRNet) to evaluate the information validity of the two modes, and balance their influence. Our framework is divided into three phases: perception phase, recoding mixing phase and feature integration phase. First, A perception encoder is adopted to extract multi-level single-modal features, which lays the foundation for multi-modal semantic comparative analysis. Then, a modal-adaptive gate unit (MGU) is proposed to suppress the invalid information and transfer the effective modal features to the recoding mixer and the hybrid branch decoder. The recoding mixer is responsible for recoding and mixing the balanced multi-modal information. Finally, the hybrid branch decoder completes the multi-level feature integration under the guidance of an optional edge guidance stream (OEGS). Experiments and analysis on eight popular benchmarks verify that our framework performs favorably against 9 state-of-art methods.
updated: Tue Nov 09 2021 14:07:20 GMT+0000 (UTC)
published: Fri Aug 13 2021 15:08:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト