arXiv reaDer
Elaborative Rehearsal for Zero-shot Action Recognition
アクションクラスの数の増加は、ビデオの理解に新たな課題をもたらし、ゼロショットアクション認識(ZSAR)を繁栄させる方向にしています。 ZSARタスクは、セマンティック表現を活用して表示されているアクションと表示されていないアクションを橋渡しすることにより、例をトレーニングせずにターゲット(表示されていない)アクションを認識することを目的としています。ただし、アクションの複雑さと多様性のために、アクションクラスを意味的に表現し、表示されたデータから知識を転送することは依然として困難です。この作業では、新しい概念を作り上げ、それを既知の概念に関連付けることを含む、効果的な人間の記憶技術である精巧なリハーサル(ER)に触発されたER拡張ZSARモデルを提案します。具体的には、各アクションクラスをElaborative Description(ED)センテンスとして拡張します。これは、クラス名よりも識別性が高く、手動で定義された属性よりもコストがかかりません。クラスのセマンティクスをビデオと直接調整することに加えて、ビデオのオブジェクトをElaborative Concepts(EC)として組み込み、ビデオのセマンティクスと、表示されたアクションから表示されていないアクションへの一般化を改善します。当社のER拡張ZSARモデルは、3つの既存のベンチマークで最先端の結果を達成します。さらに、現在のベンチマークの制限を克服し、ZSARのパフォーマンスがこのより現実的な設定での数ショットの学習ベースラインに匹敵する最初のケースを示すために、Kineticsデータセットで新しいZSAR評価プロトコルを提案します。コードと収集されたEDは、でリリースされます。
The growing number of action classes has posed a new challenge for video understanding, making Zero-Shot Action Recognition (ZSAR) a thriving direction. The ZSAR task aims to recognize target (unseen) actions without training examples by leveraging semantic representations to bridge seen and unseen actions. However, due to the complexity and diversity of actions, it remains challenging to semantically represent action classes and transfer knowledge from seen data. In this work, we propose an ER-enhanced ZSAR model inspired by an effective human memory technique Elaborative Rehearsal (ER), which involves elaborating a new concept and relating it to known concepts. Specifically, we expand each action class as an Elaborative Description (ED) sentence, which is more discriminative than a class name and less costly than manual-defined attributes. Besides directly aligning class semantics with videos, we incorporate objects from the video as Elaborative Concepts (EC) to improve video semantics and generalization from seen actions to unseen actions. Our ER-enhanced ZSAR model achieves state-of-the-art results on three existing benchmarks. Moreover, we propose a new ZSAR evaluation protocol on the Kinetics dataset to overcome limitations of current benchmarks and demonstrate the first case where ZSAR performance is comparable to few-shot learning baselines on this more realistic setting. We will release our codes and collected EDs at
updated: Thu Aug 05 2021 20:02:46 GMT+0000 (UTC)
published: Thu Aug 05 2021 20:02:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト