効率的なビデオアーキテクチャは、限られたコンピューティングリソースを備えたデバイスにビデオ認識システムを展開するための鍵です。残念ながら、既存のビデオアーキテクチャは多くの場合、計算量が多く、そのようなアプリケーションには適していません。最近のX3Dの作品は、空間、時間、幅、奥行きなどの複数の軸に沿って手作りの画像アーキテクチャを拡張することにより、効率的なビデオモデルの新しいファミリを示しています。 X3Dは、概念的に大きな空間で動作しますが、一度に1つの軸を検索し、合計30のアーキテクチャの小さなセットを探索しただけであり、空間を十分に探索できません。この論文は、既存の2Dアーキテクチャをバイパスし、ブロックタイプ、フィルター番号、拡張率、およびアテンションブロックが共同で検索される、きめ細かい空間で3Dアーキテクチャを直接検索します。このような広い空間を効率的に探索するために、確率的ニューラルアーキテクチャ探索法を採用しています。 KineticsとSomething-Something-V2ベンチマークの評価により、AutoX3Dモデルは、同様のFLOPで最大1.3%の精度で既存のモデルを上回り、同様のパフォーマンスに達したときに計算コストを最大x1.74削減できることが確認されました。
Efficient video architecture is the key to deploying video recognition systems on devices with limited computing resources. Unfortunately, existing video architectures are often computationally intensive and not suitable for such applications. The recent X3D work presents a new family of efficient video models by expanding a hand-crafted image architecture along multiple axes, such as space, time, width, and depth. Although operating in a conceptually large space, X3D searches one axis at a time, and merely explored a small set of 30 architectures in total, which does not sufficiently explore the space. This paper bypasses existing 2D architectures, and directly searched for 3D architectures in a fine-grained space, where block type, filter number, expansion ratio and attention block are jointly searched. A probabilistic neural architecture search method is adopted to efficiently search in such a large space. Evaluations on Kinetics and Something-Something-V2 benchmarks confirm our AutoX3D models outperform existing ones in accuracy up to 1.3% under similar FLOPs, and reduce the computational cost up to x1.74 when reaching similar performance.