バイキュービックダウンスケーリングは、ビデオストレージの負担を軽減したり、ダウンストリームの処理速度を加速したりするために使用される一般的な手法です。ただし、逆のアップスケーリング手順は重要であり、ダウンスケールされたビデオもダウンストリームタスクのパフォーマンスを低下させる可能性があります。この論文では、ビデオの再スケーリングのための自己条件付き確率的フレームワークを提案し、ペアのダウンスケーリングとアップスケーリングの手順を同時に学習します。トレーニング中に、ダウンスケールされたビデオ内の強力な時空間事前情報を条件として確率を最大化することにより、ダウンスケーリングで失われた情報のエントロピーを減らします。最適化後、フレームワークによってダウンスケールされたビデオは、より意味のある情報を保持します。これは、アップスケーリングステップとダウンストリームタスク(ビデオアクション認識タスクなど)の両方に役立ちます。さらに、フレームワークを非可逆ビデオ圧縮システムに拡張します。このシステムでは、システム全体のエンドツーエンドのトレーニングのために、非差分産業用非可逆コーデックの勾配推定器が提案されています。広範な実験結果は、ビデオの再スケーリング、ビデオの圧縮、および効率的なアクション認識タスクに対する私たちのアプローチの優位性を示しています。
Bicubic downscaling is a prevalent technique used to reduce the video storage burden or to accelerate the downstream processing speed. However, the inverse upscaling step is non-trivial, and the downscaled video may also deteriorate the performance of downstream tasks. In this paper, we propose a self-conditioned probabilistic framework for video rescaling to learn the paired downscaling and upscaling procedures simultaneously. During the training, we decrease the entropy of the information lost in the downscaling by maximizing its probability conditioned on the strong spatial-temporal prior information within the downscaled video. After optimization, the downscaled video by our framework preserves more meaningful information, which is beneficial for both the upscaling step and the downstream tasks, e.g., video action recognition task. We further extend the framework to a lossy video compression system, in which a gradient estimator for non-differential industrial lossy codecs is proposed for the end-to-end training of the whole system. Extensive experimental results demonstrate the superiority of our approach on video rescaling, video compression, and efficient action recognition tasks.