arXiv reaDer
異種変形可能補償ネットワークを介して学習したビデオ圧縮
Learned Video Compression via Heterogeneous Deformable Compensation Network
学習したビデオ圧縮は、動き補償が最も困難な問題の1つと見なされている、高度なビデオ圧縮技術を開発する上で不可欠な研究トピックとして最近浮上しています。この論文では、ダウンサンプリングされた機能ドメインの単一サイズの変形可能なカーネルによって引き起こされる不安定な圧縮パフォーマンスの問題に取り組むために、異種変形可能補償戦略(HDCVC)を介して学習したビデオ圧縮フレームワークを提案します。より具体的には、オプティカルフローワーピングまたはシングルサイズカーネル変形可能アライメントを利用する代わりに、提案されたアルゴリズムは、2つの隣接するフレームから特徴を抽出して、コンテンツ適応型の異種変形可能(HetDeform)カーネルオフセットを推定します。次に、HetDeform畳み込みを使用して参照フィーチャを変換し、動き補償を実現します。さらに、空間的近隣条件付き分割正規化(SNCDN)を設計して、一般化分割正規化と組み合わせたより効果的なデータガウス化を実現します。さらに、最終的な品質向上のためにコンテキストと時間情報を活用するためのマルチフレーム強化再構成モジュールを提案します。実験結果は、HDCVCが最近の最先端の学習済みビデオ圧縮アプローチよりも優れたパフォーマンスを達成することを示しています。
Learned video compression has recently emerged as an essential research topic in developing advanced video compression technologies, where motion compensation is considered one of the most challenging issues. In this paper, we propose a learned video compression framework via heterogeneous deformable compensation strategy (HDCVC) to tackle the problems of unstable compression performance caused by single-size deformable kernels in downsampled feature domain. More specifically, instead of utilizing optical flow warping or single-size-kernel deformable alignment, the proposed algorithm extracts features from the two adjacent frames to estimate content-adaptive heterogeneous deformable (HetDeform) kernel offsets. Then we transform the reference features with the HetDeform convolution to accomplish motion compensation. Moreover, we design a Spatial-Neighborhood-Conditioned Divisive Normalization (SNCDN) to achieve more effective data Gaussianization combined with the Generalized Divisive Normalization. Furthermore, we propose a multi-frame enhanced reconstruction module for exploiting context and temporal information for final quality enhancement. Experimental results indicate that HDCVC achieves superior performance than the recent state-of-the-art learned video compression approaches.
updated: Mon Jul 11 2022 02:31:31 GMT+0000 (UTC)
published: Mon Jul 11 2022 02:31:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト