数ショットのアクション認識は、わずかなサンプル(サポート)を使用して新しいアクションクラス(クエリ)を認識することを目的としています。現在のアプローチの大部分は、ビデオ間の類似性を比較することを学習するメトリック学習パラダイムに従います。最近、この類似性を直接測定することは理想的ではないことが観察されました。これは、さまざまなアクションインスタンスが独特の時間的分布を示し、クエリとサポートのビデオ全体で深刻な不整合の問題が発生する可能性があるためです。この論文では、この問題を2つの異なる側面から阻止します。アクション期間の不整合とモーション進化の不整合です。 2段階のTemporalAlignment Network(TTAN)を介して順次対処します。第1段階では、予測されたアフィンワープパラメーターを使用して時間変換を実行し、第2段階では、クロスアテンションメカニズムを利用して、サポートとクエリの機能を一貫した進化に調整します。さらに、サポートサンプル間のミスアライメントを考慮した新しいマルチショットフュージョン戦略を考案します。アブレーションの研究と視覚化は、ミスアラインメントに対処する際に両方の段階が果たす役割を示しています。ベンチマークデータセットでの広範な実験は、数ショットのアクション認識のための最先端のパフォーマンスを達成する上で提案された方法の可能性を示しています。
Few-shot action recognition aims to recognize novel action classes (query) using just a few samples (support). The majority of current approaches follow the metric learning paradigm, which learns to compare the similarity between videos. Recently, it has been observed that directly measuring this similarity is not ideal since different action instances may show distinctive temporal distribution, resulting in severe misalignment issues across query and support videos. In this paper, we arrest this problem from two distinct aspects -- action duration misalignment and motion evolution misalignment. We address them sequentially through a Two-stage Temporal Alignment Network (TTAN). The first stage performs temporal transformation with the predicted affine warp parameters, while the second stage utilizes a cross-attention mechanism to coordinate the features of the support and query to a consistent evolution. Besides, we devise a novel multi-shot fusion strategy, which takes the misalignment among support samples into consideration. Ablation studies and visualizations demonstrate the role played by both stages in addressing the misalignment. Extensive experiments on benchmark datasets show the potential of the proposed method in achieving state-of-the-art performance for few-shot action recognition.