arXiv reaDer
開集合アクション認識のための証拠となる深層学習
Evidential Deep Learning for Open Set Action Recognition
実際のシナリオでは、人間の行動は通常、トレーニングデータからの分布から外れます。これには、既知の行動を認識し、未知の行動を拒否するモデルが必要です。画像データとは異なり、ビデオアクションは、人間のアクションの不確実な時間的ダイナミクスと静的バイアスのために、オープンセット設定で認識されるのがより困難です。この論文では、オープンテストセット内のアクションを認識するためのDeep Evidential Action Recognition(DEAR)メソッドを提案します。具体的には、証拠深層学習(EDL)の観点からアクション認識問題を定式化し、EDLトレーニングを正規化するための新しいモデルキャリブレーション方法を提案します。さらに、ビデオ表現の静的バイアスを軽減するために、対照的な学習を通じて学習された表現をバイアス解除するプラグアンドプレイモジュールを提案します。実験結果は、私たちのDEARメソッドが、複数の主流のアクション認識モデルとベンチマークで一貫したパフォーマンスの向上を達成することを示しています。コードと事前トレーニング済みモデルは、https://www.rit.edu/actionlab/dearで入手できます。
In a real-world scenario, human actions are typically out of the distribution from training data, which requires a model to both recognize the known actions and reject the unknown. Different from image data, video actions are more challenging to be recognized in an open-set setting due to the uncertain temporal dynamics and static bias of human actions. In this paper, we propose a Deep Evidential Action Recognition (DEAR) method to recognize actions in an open testing set. Specifically, we formulate the action recognition problem from the evidential deep learning (EDL) perspective and propose a novel model calibration method to regularize the EDL training. Besides, to mitigate the static bias of video representation, we propose a plug-and-play module to debias the learned representation through contrastive learning. Experimental results show that our DEAR method achieves consistent performance gain on multiple mainstream action recognition models and benchmarks. Code and pre-trained models are available at https://www.rit.edu/actionlab/dear.
updated: Wed Aug 18 2021 04:57:18 GMT+0000 (UTC)
published: Wed Jul 21 2021 15:45:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト