計算コストを増やすことなく、2Dネットワークでのビデオ分類のための時間情報をキャプチャする問題に対処します。既存のアプローチは、2Dネットワークのアーキテクチャを変更することに焦点を当てています(たとえば、時間次元にフィルターを含めて3Dネットワークに変換したり、オプティカルフローを使用したりするなど)。これにより、計算コストが増加します。代わりに、入力ビデオのチャネルを並べ替えて、フレーム間の短期間の変化をキャプチャする、新しいサンプリング戦略を提案します。ベルやホイッスルがない場合、提案されたサンプリング戦略により、複数のアーキテクチャ(TSN、TRN、TSMなど)およびデータセット(CATER、Something-Something-V1およびV2)のパフォーマンスが、使用のベースラインよりも最大24%向上することがわかります。標準のビデオ入力。さらに、私たちのサンプリング戦略は、ゼロからのトレーニングを必要とせず、トレーニングとテストの計算コストを増加させません。結果の一般性とアプローチの柔軟性を考えると、これがビデオ理解コミュニティに広く役立つことを願っています。コードはhttps://github.com/kiyoon/PyVideoAIで入手できます。
We address the problem of capturing temporal information for video classification in 2D networks, without increasing computational cost. Existing approaches focus on modifying the architecture of 2D networks (e.g. by including filters in the temporal dimension to turn them into 3D networks, or using optical flow, etc.), which increases computation cost. Instead, we propose a novel sampling strategy, where we re-order the channels of the input video, to capture short-term frame-to-frame changes. We observe that without bells and whistles, the proposed sampling strategy improves performance on multiple architectures (e.g. TSN, TRN, and TSM) and datasets (CATER, Something-Something-V1 and V2), up to 24% over the baseline of using the standard video input. In addition, our sampling strategies do not require training from scratch and do not increase the computational cost of training and testing. Given the generality of the results and the flexibility of the approach, we hope this can be widely useful to the video understanding community. Code is available at https://github.com/kiyoon/PyVideoAI.