最近、画像融合やシーン理解などのマルチモダリティシーン認識タスクが、インテリジェントビジョンシステムに対して広く注目を集めています。ただし、初期の取り組みでは、常に単一のタスクを一方的に推進し、他のタスクを無視することが考慮されており、共同で推進するためにそれらの根底にあるつながりを調査することはほとんどありません。これらの制限を克服するために、これらのタスクを橋渡しする階層的なデュアル タスク駆動の深いモデルを確立します。具体的には、まず、相補的な特性を融合するための画像融合モジュールを構築し、視覚効果のための識別器と特徴測定のためのセマンティックネットワークを含むデュアルタスク関連モジュールをカスケードします。画像融合を定式化し、下流タスクをフォローアップするための 2 レベルの視点を提供します。画像融合のための明確なタスク関連の応答を組み込むために、画像融合を主な目標として、二重モジュールを学習可能な制約として考慮します。さらに、対応する勾配を計算するための効率的な一次近似を開発し、融合学習の勾配のバランスをとるために動的加重集計を提示します。広範な実験により、視覚的に心地よい融合結果が得られるだけでなく、最先端のアプローチよりも検出とセグメンテーションが大幅に促進されるこの手法の優位性が実証されました。
Recently, multi-modality scene perception tasks, e.g., image fusion and scene understanding, have attracted widespread attention for intelligent vision systems. However, early efforts always consider boosting a single task unilaterally and neglecting others, seldom investigating their underlying connections for joint promotion. To overcome these limitations, we establish the hierarchical dual tasks-driven deep model to bridge these tasks. Concretely, we firstly construct an image fusion module to fuse complementary characteristics and cascade dual task-related modules, including a discriminator for visual effects and a semantic network for feature measurement. We provide a bi-level perspective to formulate image fusion and follow-up downstream tasks. To incorporate distinct task-related responses for image fusion, we consider image fusion as a primary goal and dual modules as learnable constraints. Furthermore, we develop an efficient first-order approximation to compute corresponding gradients and present dynamic weighted aggregation to balance the gradients for fusion learning. Extensive experiments demonstrate the superiority of our method, which not only produces visually pleasant fused results but also realizes significant promotion for detection and segmentation than the state-of-the-art approaches.