arXiv reaDer
部分的なビデオドメイン適応のためのマルチモーダル情報を使用したクラスの重みのキャリブレーション
Calibrating Class Weights with Multi-Modal Information for Partial Video Domain Adaptation
ソースラベルスペースがターゲットラベルスペースを包含していると仮定すると、部分ビデオドメイン適応(PVDA)は、クロスドメインビデオ分類問題のより一般的で実用的なシナリオです。 PVDAの主な課題は、ソースのみの外れ値クラスによって引き起こされる負の転送を軽減することです。この課題に取り組むための重要なステップは、ターゲット予測を集約して、ターゲットクラスをアップウェイトし、外れ値クラスをダウンウェイトすることによってクラスの重みを割り当てることです。ただし、クラスの重みの誤った予測は、ネットワークを誤解させ、負の転送につながる可能性があります。以前の作業では、時間的特徴と注意メカニズムを利用してクラスの重みの精度を向上させましたが、ほとんどの実際のシナリオのように、ドメインシフトが重要な場合に正確なクラスの重みを生成しようとすると、これらの方法では不十分になる可能性があります。これらの課題に対処するために、マルチモダリティクラスターで較正された部分的敵対的ネットワーク(MCAN)を提案します。 MCANは、複数の時間スケールからのマルチモーダル特徴を使用してビデオ特徴抽出を強化し、より堅牢な全体的な特徴を形成します。これは、新しいクラスの重みのキャリブレーション方法を利用して、誤ったクラスの重みによって引き起こされる負の転送を軽減します。キャリブレーション方法は、教師なしクラスタリングによって暗示される分布情報を使用して、正しい予測と誤った予測を識別して評価しようとします。広範な実験が一般的なPVDAベンチマークで実施され、提案されたMCANは、最先端のPVDA手法と比較して大幅な改善を実現しています。
Assuming the source label space subsumes the target one, Partial Video Domain Adaptation (PVDA) is a more general and practical scenario for cross-domain video classification problems. The key challenge of PVDA is to mitigate the negative transfer caused by the source-only outlier classes. To tackle this challenge, a crucial step is to aggregate target predictions to assign class weights by up-weighing target classes and down-weighing outlier classes. However, the incorrect predictions of class weights can mislead the network and lead to negative transfer. Previous works improve the class weight accuracy by utilizing temporal features and attention mechanisms, but these methods may fall short when trying to generate accurate class weight when domain shifts are significant, as in most real-world scenarios. To deal with these challenges, we propose the Multi-modality Cluster-calibrated partial Adversarial Network (MCAN). MCAN enhances video feature extraction with multi-modal features from multiple temporal scales to form more robust overall features. It utilizes a novel class weight calibration method to alleviate the negative transfer caused by incorrect class weights. The calibration method tries to identify and weigh correct and incorrect predictions using distributional information implied by unsupervised clustering. Extensive experiments are conducted on prevailing PVDA benchmarks, and the proposed MCAN achieves significant improvements when compared to state-of-the-art PVDA methods.
updated: Mon Jul 11 2022 06:51:00 GMT+0000 (UTC)
published: Wed Apr 13 2022 06:12:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト