この論文は、反復的な条件付き生成的敵対的ネットワークを用いた知覚学習ビデオ圧縮(PLVC)アプローチを提案します。私たちのアプローチでは、反復オートエンコーダベースのジェネレータは、ビデオを圧縮するための時間的相関を完全に調査することを学習します。さらに重要なことに、我々は、潜在的表現、時間的運動、および再発性細胞の隠れ状態を含む、空間的および時間的情報の両方に条件付けられた生および圧縮ビデオを判断する再発性条件付き弁別器を提案する。このように、敵対的なトレーニングでは、生成されたビデオを空間的にフォトリアリスティックにするだけでなく、時間的にグラウンドトゥルースと一致させ、ビデオフレーム間で一貫性を持たせるようにします。したがって、提案されたPLVCモデルは、低ビットレートで良好な知覚品質に向けてビデオを圧縮することを学習します。実験結果は、私たちのPLVCアプローチが、いくつかの知覚品質指標において、以前の従来の学習されたアプローチよりも優れていることを示しています。ユーザー調査では、最新の学習済みビデオ圧縮アプローチおよび公式のHEVCテストモデル(HM 16.20)と比較して、PLVCの卓越した知覚パフォーマンスをさらに検証しています。コードはhttps://github.com/RenYang-home/PLVCでリリースされます。
This paper proposes a Perceptual Learned Video Compression (PLVC) approach with recurrent conditional generative adversarial network. In our approach, the recurrent auto-encoder-based generator learns to fully explore the temporal correlation for compressing video. More importantly, we propose a recurrent conditional discriminator, which judges raw and compressed video conditioned on both spatial and temporal information, including the latent representation, temporal motion and hidden states in recurrent cells. This way, in the adversarial training, it pushes the generated video to be not only spatially photo-realistic but also temporally consistent with groundtruth and coherent among video frames. Therefore, the proposed PLVC model learns to compress video towards good perceptual quality at low bit-rate. The experimental results show that our PLVC approach outperforms the previous traditional and learned approaches on several perceptual quality metrics. The user study further validates the outstanding perceptual performance of PLVC in comparison with the latest learned video compression approaches and the official HEVC test model (HM 16.20). The codes will be released at https://github.com/RenYang-home/PLVC.