最近の深層学習ベースのビデオ圧縮方法は、AVC や HEVC などの従来のコーデックよりも優れたコーディングをもたらしました。ただし、学習ベースのコーデックは一般に、かなりの計算時間とモデルの複雑さが必要です。この論文では、従来のビデオコーデック(HEVC / VVC)、ロスレス画像コーデック、および新しい復元ネットワークで構成される新しい軽量ハイブリッドビデオコーデックを提案します。正確には、当社のエンコーダーは、従来のビデオ エンコーダーとロスレス イメージ エンコーダーで構成され、ロスレス圧縮された参照フレームと共に、ロッシー圧縮されたビデオ ビットストリームを送信します。デコーダーは、対応するビデオ/画像デコーダーと、圧縮されたビデオを 2 段階のプロセスで強化する新しい復元ネットワークで構成されます。最初のステップでは、大規模なビデオ データセットでトレーニングされたネットワークが、従来のエンコーダーで失われた詳細を復元します。次に、可逆圧縮されたビデオ フレームである参照画像のガイダンスを使用して、ビデオ品質をさらに向上させます。参照イメージは、圧縮されたビデオの詳細をより適切に復元するために利用できる、ビデオ固有の情報を提供します。実験結果は、提案された方法が HEVC に適用された場合でも、最上位の方法に匹敵するパフォーマンスを達成することを示しています。それにもかかわらず、私たちの方法は複雑さが少なく、実行時間が速く、既存の従来のコーデックに簡単に統合できます。
Recent deep-learning-based video compression methods brought coding gains over conventional codecs such as AVC and HEVC. However, learning-based codecs generally require considerable computation time and model complexity. In this paper, we propose a new lightweight hybrid video codec consisting of a conventional video codec(HEVC / VVC), a lossless image codec, and our new restoration network. Precisely, our encoder consists of the conventional video encoder and a lossless image encoder, transmitting a lossy-compressed video bitstream along with a losslessly-compressed reference frame. The decoder is constructed with corresponding video/image decoders and a new restoration network, which enhances the compressed video in two-step processes. In the first step, a network trained with a large video dataset restores the details lost by the conventional encoder. Then, we further boost the video quality with the guidance of a reference image, which is a losslessly compressed video frame. The reference image provides video-specific information, which can be utilized to better restore the details of a compressed video. Experimental results show that the proposed method achieves comparable performance to top-tier methods, even when applied to HEVC. Nevertheless, our method has lower complexity, a faster run time, and can be easily integrated into existing conventional codecs.