このホワイトペーパーでは、デコーダー側のクロスレゾリューションシンセシス(CRS)モジュールを提案し、最新の多用途ビデオコーディング(VVC)を超えて、元の高解像度(HR)でイントラフレームをエンコードし、低解像度( LR)、次に、先行するHRイントラフレームおよび隣接するLRインターフレームの助けを借りて、デコードされたLRインターフレームを超解像します。 LRインターフレームの場合、モーションアラインメントおよびアグリゲーションネットワーク(MAN)が考案され、時間的な滑らかさを保証するために時間的にアグリゲートされたモーション表現(AMR)が生成されます。別のテクスチャ補正ネットワーク(TCN)は、デコードされたHRイントラフレーム、再サンプリングされたHRイントラフレーム、およびこのLRインターフレームを入力して、マルチスケールアフィニティマップ(MAM)とマルチスケールテクスチャ表現(MTR)を生成し、空間の詳細をより適切に拡張します。最後に、類似性駆動型フュージョンは、AMR、MTR、MAMを合成してLRインターフレームをアップスケールし、圧縮および解像度のリサンプリングノイズを除去します。提案されたCRSを使用してVVCを拡張し、ランダムアクセス(RA)および低遅延P(LDP)設定で最新のVVCアンカーに対してそれぞれ平均8.76%および11.93%のBj \ ontegaard Delta Rate(BD-Rate)ゲインを示します。さらに、最先端の超解像(SR)ベースのVVC強化方法との実験的比較、およびアブレーション研究を実施して、提案されたアルゴリズムの優れた効率と一般化をさらに報告します。すべての資料は、再現性のある調査のためにhttps://njuvision.github.io/CRSで公開されます。
This paper proposes a decoder-side Cross Resolution Synthesis (CRS) module to pursue better compression efficiency beyond the latest Versatile Video Coding (VVC), where we encode intra frames at original high resolution (HR), compress inter frames at a lower resolution (LR), and then super-resolve decoded LR inter frames with the help from preceding HR intra and neighboring LR inter frames. For a LR inter frame, a motion alignment and aggregation network (MAN) is devised to produce temporally aggregated motion representation (AMR) for the guarantee of temporal smoothness; Another texture compensation network (TCN) inputs decoded HR intra frame, re-sampled HR intra frame, and this LR inter frame to generate multiscale affinity map (MAM) and multiscale texture representation (MTR) for better augmenting spatial details; Finally, similarity-driven fusion synthesizes AMR, MTR, MAM to upscale LR inter frame for the removal of compression and resolution re-sampling noises. We enhance the VVC using proposed CRS, showing averaged 8.76% and 11.93% Bj\ontegaard Delta Rate (BD-Rate) gains against the latest VVC anchor in Random Access (RA) and Low-delay P (LDP) settings respectively. In addition, experimental comparisons to the state-of-the-art super-resolution (SR) based VVC enhancement methods, and ablation studies are conducted to further report superior efficiency and generalization of proposed algorithm. All materials will be made to public at https://njuvision.github.io/CRS for reproducible research.