学習ベースのビデオ圧縮は、過去数年間でますます注目を集めています。以前のハイブリッドコーディングアプローチは、ピクセル空間操作に依存して空間的および時間的冗長性を低減します。これは、不正確な動き推定または効果の低い動き補償に悩まされる可能性があります。この作業では、特徴空間ですべての主要な操作(つまり、動き推定、動き圧縮、動き補償、残差圧縮)を実行することにより、特徴空間ビデオコーディングネットワーク(FVC)を提案します。具体的には、提案された変形可能補償モジュールでは、最初に特徴空間でモーション推定を適用して、オートエンコーダスタイルのネットワークを使用して圧縮されるモーション情報(つまり、オフセットマップ)を生成します。次に、変形可能な畳み込みを使用して動き補償を実行し、予測された特徴を生成します。その後、現在のフレームの特徴と変形可能な補正モジュールの予測された特徴の間の残余の特徴を圧縮します。より良いフレーム再構成のために、複数の以前に再構成されたフレームからの参照特徴も、マルチフレーム特徴融合モジュールの非局所的注意メカニズムを使用することによって融合されます。包括的な実験結果は、提案されたフレームワークがHEVC、UVG、VTL、MCL-JCVを含む4つのベンチマークデータセットで最先端のパフォーマンスを達成することを示しています。
Learning based video compression attracts increasing attention in the past few years. The previous hybrid coding approaches rely on pixel space operations to reduce spatial and temporal redundancy, which may suffer from inaccurate motion estimation or less effective motion compensation. In this work, we propose a feature-space video coding network (FVC) by performing all major operations (i.e., motion estimation, motion compression, motion compensation and residual compression) in the feature space. Specifically, in the proposed deformable compensation module, we first apply motion estimation in the feature space to produce motion information (i.e., the offset maps), which will be compressed by using the auto-encoder style network. Then we perform motion compensation by using deformable convolution and generate the predicted feature. After that, we compress the residual feature between the feature from the current frame and the predicted feature from our deformable compensation module. For better frame reconstruction, the reference features from multiple previous reconstructed frames are also fused by using the non-local attention mechanism in the multi-frame feature fusion module. Comprehensive experimental results demonstrate that the proposed framework achieves the state-of-the-art performance on four benchmark datasets including HEVC, UVG, VTL and MCL-JCV.