空間畳み込みは、多くのディープビデオモデルで広く使用されています。これは基本的に時空間不変性を前提としています。つまり、異なるフレーム内のすべての場所に共有の重みを使用します。この作品は、ビデオ理解のための時間的適応畳み込み(TAdaConv)を提示します。これは、時間的次元に沿った適応的重みキャリブレーションが、ビデオの複雑な時間的ダイナミクスのモデリングを容易にする効率的な方法であることを示しています。具体的には、TAdaConvは、ローカルおよびグローバルの時間コンテキストに従って各フレームの畳み込みの重みを調整することにより、時間モデリング機能を使用して空間畳み込みを強化します。以前の時間モデリング操作と比較して、TAdaConvは、次元が空間解像度よりも1桁小さいフィーチャではなく、畳み込みカーネル上で動作するため、より効率的です。さらに、カーネルのキャリブレーションにより、モデルの容量が増加します。 ResNetおよびConvNeXtの2D畳み込みをTAdaConvに置き換えることにより、TAda2DおよびTAdaConvNeXtネットワークを構築します。これにより、複数のビデオアクション認識およびローカリゼーションベンチマークでの最先端のアプローチと比較して、少なくとも同等以上のパフォーマンスが得られます。また、計算のオーバーヘッドがごくわずかなプラグイン操作であるため、TAdaConvは、説得力のあるマージンで多くの既存のビデオモデルを効果的に改善できることも示しています。
Spatial convolutions are widely used in numerous deep video models. It fundamentally assumes spatio-temporal invariance, i.e., using shared weights for every location in different frames. This work presents Temporally-Adaptive Convolutions (TAdaConv) for video understanding, which shows that adaptive weight calibration along the temporal dimension is an efficient way to facilitate modelling complex temporal dynamics in videos. Specifically, TAdaConv empowers the spatial convolutions with temporal modelling abilities by calibrating the convolution weights for each frame according to its local and global temporal context. Compared to previous temporal modelling operations, TAdaConv is more efficient as it operates over the convolution kernels instead of the features, whose dimension is an order of magnitude smaller than the spatial resolutions. Further, the kernel calibration brings an increased model capacity. We construct TAda2D and TAdaConvNeXt networks by replacing the 2D convolutions in ResNet and ConvNeXt with TAdaConv, which leads to at least on par or better performance compared to state-of-the-art approaches on multiple video action recognition and localization benchmarks. We also demonstrate that as a readily plug-in operation with negligible computation overhead, TAdaConv can effectively improve many existing video models with a convincing margin.