arXiv reaDer
ビデオ圧縮強化のためのデコーダー側のクロス解像度合成
Decoder-side Cross Resolution Synthesis for Video Compression Enhancement
このホワイトペーパーでは、デコーダー側のクロスレゾリューションシンセシス(CRS)モジュールを提案し、最新の多用途ビデオコーディング(VVC)を超えて、元の高解像度(HR)でイントラフレームをエンコードし、低解像度( LR)、次に、先行するHRイントラフレームおよび隣接するLRインターフレームの助けを借りて、デコードされたLRインターフレームを超解像します。 LRインターフレームの場合、モーションアラインメントおよびアグリゲーションネットワーク(MAN)が考案され、時間的にアグリゲートされたモーション表現を生成して、時間的な滑らかさを最大限に保証します。別のテクスチャ補正ネットワーク(TCN)を使用して、デコードされたHRイントラフレームからテクスチャ表現を生成し、空間の詳細をより適切に拡張します。最後に、類似性駆動型の融合エンジンは、モーションとテクスチャの表現を合成して、圧縮と解像度の再サンプリングノイズを除去するためにLRインターフレームをアップスケールします。提案されたCRSを使用してVVCを強化し、ランダムアクセス(RA)および低遅延P(LDP)設定で最新のVVCアンカーに対してそれぞれ平均8.76%および11.93%のBj \ ontegaard Delta Rate(BD-Rate)ゲインを示します。さらに、最先端の超解像(SR)ベースのVVCエンハンスメント法との実験的比較、およびアブレーション研究を実施して、提案されたアルゴリズムの優れた効率と一般化をさらに報告します。すべての資料は、再現性のある研究のためにhttps://njuvision.github.io/CRSで公開されます。
This paper proposes a decoder-side Cross Resolution Synthesis (CRS) module to pursue better compression efficiency beyond the latest Versatile Video Coding (VVC), where we encode intra frames at original high resolution (HR), compress inter frames at a lower resolution (LR), and then super-resolve decoded LR inter frames with the help from preceding HR intra and neighboring LR inter frames. For a LR inter frame, a motion alignment and aggregation network (MAN) is devised to produce temporally aggregated motion representation to best guarantee the temporal smoothness; Another texture compensation network (TCN) is utilized to generate texture representation from decoded HR intra frame for better augmenting spatial details; Finally, a similarity-driven fusion engine synthesizes motion and texture representations to upscale LR inter frames for the removal of compression and resolution re-sampling noises. We enhance the VVC using proposed CRS, showing averaged 8.76% and 11.93% Bj\ontegaard Delta Rate (BD-Rate) gains against the latest VVC anchor in Random Access (RA) and Low-delay P (LDP) settings respectively. In addition, experimental comparisons to the state-of-the-art super-resolution (SR) based VVC enhancement methods, and ablation studies are conducted to further report superior efficiency and generalization of the proposed algorithm. All materials will be made to public at https://njuvision.github.io/CRS for reproducible research.
updated: Sat Dec 18 2021 05:12:12 GMT+0000 (UTC)
published: Tue Dec 01 2020 17:23:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト