過去数年間、ビデオ圧縮にディープラーニングを適用することへの関心が高まっています。ただし、既存のアプローチでは、参照フレームの数が少ないビデオフレームを圧縮するため、ビデオフレーム間の時間的相関を十分に活用する能力が制限されます。この欠点を克服するために、このペーパーでは、Recurrent Auto-Encoder(RAE)とRecurrent Probability Model(RPM)を使用したRecurrent Learned Video Compression(RLVC)アプローチを提案します。具体的には、RAEはエンコーダーとデコーダーの両方でリカレントセルを採用しています。そのため、広範囲のフレームの時間情報を使用して、潜在的な表現を生成し、圧縮された出力を再構築できます。さらに、提案されたRPMネットワークは、以前の潜在表現の分布を条件として、潜在表現の確率質量関数(PMF)を繰り返し推定します。連続するフレーム間の相関関係により、条件付きクロスエントロピーは独立したクロスエントロピーよりも低くなる可能性があり、ビットレートが低下します。実験は、私たちのアプローチがPSNRとMS-SSIMの両方の観点から最先端の学習されたビデオ圧縮性能を達成することを示しています。さらに、私たちのアプローチは、PSNRのデフォルトの低遅延P(LDP)設定であるx265を上回り、MS-SSIMではSSIMで調整されたx265および最も遅い設定のx265よりも優れたパフォーマンスを発揮します。コードはhttps://github.com/RenYang-home/RLVC.gitで入手できます。
The past few years have witnessed increasing interests in applying deep learning to video compression. However, the existing approaches compress a video frame with only a few number of reference frames, which limits their ability to fully exploit the temporal correlation among video frames. To overcome this shortcoming, this paper proposes a Recurrent Learned Video Compression (RLVC) approach with the Recurrent Auto-Encoder (RAE) and Recurrent Probability Model (RPM). Specifically, the RAE employs recurrent cells in both the encoder and decoder. As such, the temporal information in a large range of frames can be used for generating latent representations and reconstructing compressed outputs. Furthermore, the proposed RPM network recurrently estimates the Probability Mass Function (PMF) of the latent representation, conditioned on the distribution of previous latent representations. Due to the correlation among consecutive frames, the conditional cross entropy can be lower than the independent cross entropy, thus reducing the bit-rate. The experiments show that our approach achieves the state-of-the-art learned video compression performance in terms of both PSNR and MS-SSIM. Moreover, our approach outperforms the default Low-Delay P (LDP) setting of x265 on PSNR, and also has better performance on MS-SSIM than the SSIM-tuned x265 and the slowest setting of x265. The codes are available at https://github.com/RenYang-home/RLVC.git.