データ品質の制限のため、一部の重要な視覚タスクは単独で実行することが困難です。以前は入手できなかった情報を導入して有益な闇の知識を伝達することは、このような困難なタスクを解決する一般的な方法でした。しかし、移転された知識がなぜ機能するのかについての研究は、これまで広く調査されていませんでした。この問題に対処するために、この論文では、単純なタスクと困難なタスクから抽出された特徴を分析および観察することにより、特徴の識別能力と次元構造(DS)の間の相関関係を発見します。これに基づいて、深いチャネルごとの相関と中間空間分布を使用して DS を表現し、教師ありクロスモーダル学習 (CML) のパフォーマンスを向上させるための新しいクロスモーダル知識蒸留 (CMKD) 方法を提案します。提案された方法では、出力特徴がチャネルごとに独立し、中間特徴が均一に分散されるように強制することで、難しいタスクから意味的に無関係な特徴を学習して精度を高めます。これは、デュアル モダリティ間のパフォーマンス ギャップが比較的大きい特定のアプリケーションで特に役立ちます。さらに、コミュニティ開発を促進するために実世界の CML データセットを収集します。データセットには 10,000 を超える光学画像とレーダー画像のペアが含まれており、継続的に更新されています。現実世界のデータセットとベンチマーク データセットの実験結果により、提案された方法の有効性が検証されます。
Due to limitations in data quality, some essential visual tasks are difficult to perform independently. Introducing previously unavailable information to transfer informative dark knowledge has been a common way to solve such hard tasks. However, research on why transferred knowledge works has not been extensively explored. To address this issue, in this paper, we discover the correlation between feature discriminability and dimensional structure (DS) by analyzing and observing features extracted from simple and hard tasks. On this basis, we express DS using deep channel-wise correlation and intermediate spatial distribution, and propose a novel cross-modal knowledge distillation (CMKD) method for better supervised cross-modal learning (CML) performance. The proposed method enforces output features to be channel-wise independent and intermediate ones to be uniformly distributed, thereby learning semantically irrelevant features from the hard task to boost its accuracy. This is especially useful in specific applications where the performance gap between dual modalities is relatively large. Furthermore, we collect a real-world CML dataset to promote community development. The dataset contains more than 10,000 paired optical and radar images and is continuously being updated. Experimental results on real-world and benchmark datasets validate the effectiveness of the proposed method.