この論文では、マルチモーダルビジョンコミュニティの解釈に光を当てるための分析フレームワークと新しい指標を紹介します。私たちのアプローチには、モダリティやレベル全体で提案された意味論的な分散と特徴の類似性を測定し、包括的な実験を通じて意味論的および定量的な分析を実行することが含まれます。具体的には、モダリティ間の表現の一貫性と特殊性、各モダリティ内の進化ルール、マルチモダリティ モデルを最適化するときに使用されるコラボレーション ロジックを調査します。私たちの研究では、クロスモーダル特徴の不一致や、相補的推論の一貫性と専門性を同時に強調するハイブリッド・マルチモーダル協力ルールなど、いくつかの重要な発見が明らかになりました。マルチモーダル フュージョンに関する私たちの分析と発見を通じて、一般的なマルチモーダル ビジョン フュージョン戦略の合理性と必要性の再考を促進します。さらに、私たちの研究は、将来のさまざまなタスクのための信頼できる普遍的なマルチモーダル融合モデルを設計するための基礎を築きます。
In this paper, we present an analytical framework and a novel metric to shed light on the interpretation of the multimodal vision community. Our approach involves measuring the proposed semantic variance and feature similarity across modalities and levels, and conducting semantic and quantitative analyses through comprehensive experiments. Specifically, we investigate the consistency and speciality of representations across modalities, evolution rules within each modality, and the collaboration logic used when optimizing a multi-modality model. Our studies reveal several important findings, such as the discrepancy in cross-modal features and the hybrid multi-modal cooperation rule, which highlights consistency and speciality simultaneously for complementary inference. Through our dissection and findings on multi-modal fusion, we facilitate a rethinking of the reasonability and necessity of popular multi-modal vision fusion strategies. Furthermore, our work lays the foundation for designing a trustworthy and universal multi-modal fusion model for a variety of tasks in the future.