arXiv reaDer
アクション-外観に合わせたメタ適応による教師なし少数ショットアクション認識
Unsupervised Few-Shot Action Recognition via Action-Appearance Aligned Meta-Adaptation
MetaUVFSを、VideoFew-Shotアクション認識のための最初の教師なしメタ学習アルゴリズムとして紹介します。 MetaUVFSは、550Kを超えるラベルのないビデオを活用して、対照学習を介して2ストリームの2Dおよび3D CNNアーキテクチャをトレーニングし、外観固有の空間およびアクション固有の時空間ビデオ機能をそれぞれキャプチャします。 MetaUVFSは、教師なしのハードマイニングエピソードに対する明示的な数ショットのエピソードメタ学習を介して、外観機能に関連するアクション指向のビデオ機能に焦点を当てることを学習する、新しいアクション-外観整列メタ適応(A3M)モジュールで構成されます。私たちの行動と外観の調整と明示的な教師なし学習者は、教師なしトレーニングを条件付けて、下流の教師なしタスクを模倣し、MetaUVFSが教師なしのすべての方法を教師なしのベンチマークで大幅に上回ることを可能にします。さらに、監視されている以前の数ショットのアクション認識方法とは異なり、MetaUVFSは基本クラスのラベルも監視された事前トレーニング済みバックボーンも必要としません。したがって、人気のあるHMDB51、UCF101、およびKinetics100の数ショットのデータセットで、競争力のある、または場合によっては最先端の教師あり手法を実行するために、MetaUVFSを1回だけトレーニングする必要があります。
We present MetaUVFS as the first Unsupervised Meta-learning algorithm for Video Few-Shot action recognition. MetaUVFS leverages over 550K unlabeled videos to train a two-stream 2D and 3D CNN architecture via contrastive learning to capture the appearance-specific spatial and action-specific spatio-temporal video features respectively. MetaUVFS comprises a novel Action-Appearance Aligned Meta-adaptation (A3M) module that learns to focus on the action-oriented video features in relation to the appearance features via explicit few-shot episodic meta-learning over unsupervised hard-mined episodes. Our action-appearance alignment and explicit few-shot learner conditions the unsupervised training to mimic the downstream few-shot task, enabling MetaUVFS to significantly outperform all unsupervised methods on few-shot benchmarks. Moreover, unlike previous few-shot action recognition methods that are supervised, MetaUVFS needs neither base-class labels nor a supervised pretrained backbone. Thus, we need to train MetaUVFS just once to perform competitively or sometimes even outperform state-of-the-art supervised methods on popular HMDB51, UCF101, and Kinetics100 few-shot datasets.
updated: Mon Oct 11 2021 05:44:32 GMT+0000 (UTC)
published: Thu Sep 30 2021 17:59:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト