モダリティの選択は、マルチモーダル システムを設計する際の重要なステップです。特に、特定のモダリティが他のモダリティよりもドメイン シフトに対してロバストであるため、クロスドメイン アクティビティ認識の場合に重要です。ただし、正の貢献を持つモダリティのみを選択するには、体系的なアプローチが必要です。この問題には、グラウンド トゥルース ラベルを必要としない教師なしモダリティ選択法 (ModSelect) を提案することで取り組みます。複数のユニモーダル分類器の予測と、それらの埋め込み間のドメインの不一致との間の相関関係を決定します。次に、モダリティ選択しきい値を体系的に計算します。これにより、相関が高く、ドメインの不一致が少ないモダリティのみが選択されます。私たちの実験では、私たちの方法 ModSelect が正の貢献を持つモダリティのみを選択し、Synthetic-to-Real ドメイン適応ベンチマークのパフォーマンスを一貫して改善し、ドメインギャップを狭めることを示しています。
Modality selection is an important step when designing multimodal systems, especially in the case of cross-domain activity recognition as certain modalities are more robust to domain shift than others. However, selecting only the modalities which have a positive contribution requires a systematic approach. We tackle this problem by proposing an unsupervised modality selection method (ModSelect), which does not require any ground-truth labels. We determine the correlation between the predictions of multiple unimodal classifiers and the domain discrepancy between their embeddings. Then, we systematically compute modality selection thresholds, which select only modalities with a high correlation and low domain discrepancy. We show in our experiments that our method ModSelect chooses only modalities with positive contributions and consistently improves the performance on a Synthetic-to-Real domain adaptation benchmark, narrowing the domain gap.