この論文は、反復条件付きGANを用いた知覚学習ビデオ圧縮(PLVC)アプローチを提案します。私たちのアプローチでは、ジェネレーターとして反復オートエンコーダベースの圧縮ネットワークを採用し、最も重要なこととして、潜在的表現を含む空間的および時間的特徴の両方で条件付けられた生および圧縮ビデオを判断する反復条件付き弁別器を提案します。再発細胞における時間的運動と隠れた状態。このように、敵対的なトレーニングでは、生成されたビデオを空間的にフォトリアリスティックなだけでなく、時間的にグラウンドトゥルースと一致させ、ビデオフレーム間で一貫性を持たせるようにします。実験結果は、提案されたPLVCモデルが、低ビットレートで良好な知覚品質に向けてビデオを圧縮することを学習し、公式のHEVCテストモデル(HM 16.20)およびいくつかの知覚品質メトリックとユーザー調査で以前に学習したアプローチよりも優れていることを示しています。コードはプロジェクトページhttps://github.com/RenYang-home/PLVCでリリースされます。
This paper proposes a Perceptual Learned Video Compression (PLVC) approach with recurrent conditional GAN. In our approach, we employ the recurrent auto-encoder-based compression network as the generator, and the most importantly, we propose a recurrent conditional discriminator, which judges raw and compressed video conditioned on both spatial and temporal features, including the latent representation, temporal motion and hidden states in recurrent cells. This way, in the adversarial training, it pushes the generated video to be not only spatially photo-realistic but also temporally consistent with groundtruth and coherent among video frames. The experimental results show that the proposed PLVC model learns to compress video towards good perceptual quality at low bit-rate, and outperforms the official HEVC test model (HM 16.20) and the previous learned approaches on several perceptual quality metrics and user studies. The codes will be released at the project page: https://github.com/RenYang-home/PLVC.