ビデオデータでは、移動領域からのビジーモーションの詳細が、周波数領域の特定の周波数帯域幅内で伝達されます。一方、ビデオデータの残りの周波数は、かなりの冗長性を含む静かな情報でエンコードされているため、生のRGBフレームを入力として受け取るビデオモデルの効率が低下します。この論文では、忙しい時空間領域と静かな時空間領域には異なる計算リソースが必要であると考えています。生のビデオデータの静かな情報から忙しい情報を分離するためのトレーニング可能なモーションバンドパスモジュール(MBPM)を設計します。静かな情報を低解像度で表現することで、ビデオデータ処理の効率を高めることができます。 MBPMを2パスウェイCNNアーキテクチャに埋め込むことにより、ビジークワイエットネット(BQN)を定義します。 BQNの効率は、2つの経路によって処理される機能空間の冗長性を回避することによって決定されます。1つは低解像度の静かな機能で動作し、もう1つはビジーな機能で動作します。提案されたBQNは、Something-Something V1、Kinetics400、UCF101、およびHMDB51の最近の多くのビデオ処理モデルよりも優れています。
In video data, busy motion details from moving regions are conveyed within a specific frequency bandwidth in the frequency domain. Meanwhile, the rest of the frequencies of video data are encoded with quiet information containing substantial redundancy, which causes low efficiency for video models that take as input raw RGB frames. In this paper, we consider that busy and quiet spatio-temporal regions require different computational resources. We design a trainable Motion Band-Pass Module (MBPM) for separating busy information from quiet information in raw video data. By representing the quiet information with lower resolution, we can increase the efficiency of video data processing. By embedding the MBPM into a two-pathway CNN architecture, we define a Busy-Quiet Net (BQN). The efficiency of BQN is determined by avoiding redundancy in the feature space processed by the two pathways: one operates on quiet features of low-resolution, while the other operates on busy features. The proposed BQN outperforms many recent video processing models on Something-Something V1, Kinetics400, UCF101 and HMDB51.