この論文は、反復条件付きGANを用いた知覚学習ビデオ圧縮(PLVC)アプローチを提案します。ジェネレータとしてリカレントオートエンコーダベースの圧縮ネットワークを採用し、最も重要なこととして、潜在的表現、時間的動き、再発セルの隠れた状態。このように、敵対的なトレーニングは、生成されたビデオを空間的に写真のようにリアルにするだけでなく、時間的にグラウンドトゥルースと一致させ、ビデオフレーム間で一貫性を持たせるようにします。実験結果は、学習したPLVCモデルが低ビットレートで良好な知覚品質でビデオを圧縮し、公式のHEVCテストモデル(HM 16.20)およびいくつかの知覚品質メトリックとユーザー調査の既存の学習済みビデオ圧縮アプローチよりも優れていることを示しています。コードはプロジェクトページhttps://github.com/RenYang-home/PLVCでリリースされます。
This paper proposes a Perceptual Learned Video Compression (PLVC) approach with recurrent conditional GAN. We employ the recurrent auto-encoder-based compression network as the generator, and most importantly, we propose a recurrent conditional discriminator, which judges on raw vs. compressed video conditioned on both spatial and temporal features, including the latent representation, temporal motion and hidden states in recurrent cells. This way, the adversarial training pushes the generated video to be not only spatially photo-realistic but also temporally consistent with the groundtruth and coherent among video frames. The experimental results show that the learned PLVC model compresses video with good perceptual quality at low bit-rate, and that it outperforms the official HEVC test model (HM 16.20) and the existing learned video compression approaches for several perceptual quality metrics and user studies. The codes will be released at the project page: https://github.com/RenYang-home/PLVC.