arXiv reaDer
Attack is Good Augmentation: スケルトン対比表現学習に向けて
Attack is Good Augmentation: Towards Skeleton-Contrastive Representation Learning
効果的な正と負のサンプル ペアに依存する対照的な学習は、教師なしスケルトン ベースのアクション認識で有益なスケルトン表現を学習するのに役立ちます。これらの正と負のペアを実現するために、既存の弱い/強いデータ拡張メソッドは、間接的に意味摂動を追求するためにスケルトンの外観をランダムに変更する必要があります。ただし、このようなアプローチには 2 つの制限があります。1) 外観を乱すだけでは、スケルトンの固有のセマンティック情報をうまく捉えることができず、2) ランダムに摂動すると、元の正/負のペアがソフトな正/負のペアに変わる可能性があります。上記のジレンマに対処するために、ハードポジティブペアを構築し、ハードネガティブペアの構築をさらに支援するために、直接的な意味論的摂動をさらにもたらす攻撃ベースの拡張スキームを調査する最初の試みを開始します。特に、より堅牢なスケルトン表現を学習するために、ハード ポジティブな特徴とハード ネガティブな特徴を対比するために、新しい攻撃増強混合対比学習 (A^2MC) を提案します。 A^2MC では、Attack-Augmentation (Att-Aug) は、高品質のハード ポジティブ フィーチャを生成するために、それぞれ攻撃と増強を介して、スケルトンの対象と対象外の摂動を共同で実行するように設計されています。一方、Positive-Negative Mixer (PNM) は、ハード ポジティブ フィーチャとネガティブ フィーチャを混合してハード ネガティブ フィーチャを生成するために提示され、混合メモリ バンクの更新に採用されます。 3 つの公開データセットでの広範な実験により、A^2MC が最先端の方法に匹敵することが実証されています。
Contrastive learning, relying on effective positive and negative sample pairs, is beneficial to learn informative skeleton representations in unsupervised skeleton-based action recognition. To achieve these positive and negative pairs, existing weak/strong data augmentation methods have to randomly change the appearance of skeletons for indirectly pursuing semantic perturbations. However, such approaches have two limitations: 1) solely perturbing appearance cannot well capture the intrinsic semantic information of skeletons, and 2) randomly perturbation may change the original positive/negative pairs to soft positive/negative ones. To address the above dilemma, we start the first attempt to explore an attack-based augmentation scheme that additionally brings in direct semantic perturbation, for constructing hard positive pairs and further assisting in constructing hard negative pairs. In particular, we propose a novel Attack-Augmentation Mixing-Contrastive learning (A^2MC) to contrast hard positive features and hard negative features for learning more robust skeleton representations. In A^2MC, Attack-Augmentation (Att-Aug) is designed to collaboratively perform targeted and untargeted perturbations of skeletons via attack and augmentation respectively, for generating high-quality hard positive features. Meanwhile, Positive-Negative Mixer (PNM) is presented to mix hard positive features and negative features for generating hard negative features, which are adopted for updating the mixed memory banks. Extensive experiments on three public datasets demonstrate that A^2MC is competitive with the state-of-the-art methods.
updated: Sat Apr 08 2023 14:34:07 GMT+0000 (UTC)
published: Sat Apr 08 2023 14:34:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト