網膜細胞が実際に視覚シーンをそれぞれのニューロン処理のために異なる属性(例えば、空間の詳細、時間的動き)に分離するという事実に触発されて、最初に入力ビデオをそのネイティブの空間分解能でそれぞれの空間テクスチャフレーム(STF)に分解することを提案します豊かな空間の詳細を保持し、他の時間的モーションフレーム(TMF)をより低い空間分解能で保持してモーションの滑らかさを維持します。次に、一般的なビデオコーダーを使用してそれらを一緒に圧縮します。最後に、デコードされたSTFとTMFを合成して、ネイティブ入力と同じ解像度で忠実度の高いビデオを再構築します。この作業では、分解にバイキュービックリサンプリングを適用し、圧縮にHEVC準拠コーデックを適用し、合成部分に焦点を当てます。解像度適応型合成では、TMF上に動き補償ネットワーク(MCN)が考案され、非ローカルテクスチャ転送ネットワーク(NL-TTN)を使用して対応するSTFと共同で処理される時間的動きの特徴を効率的に整列および集約し、空間をより適切に増強します。詳細。これにより、圧縮および解像度のリサンプリングノイズを効果的に軽減し、レート歪み効率を向上させることができます。このような「分解、圧縮、合成(DCS)」ベースのスキームはコーデックにとらわれず、現在、リファレンスソフトウェアを使用したHEVCアンカーに対して平均約1 dBのPSNRゲインまたは約25%のBDレート節約を例示しています。さらに、DCSアルゴリズムの効率と一般化をさらに報告するために、最先端の方法とアブレーション研究との実験的比較が行われ、将来のビデオコーディングの有望な方向性が約束されています。
Inspired by the facts that retinal cells actually segregate the visual scene into different attributes (e.g., spatial details, temporal motion) for respective neuronal processing, we propose to first decompose the input video into respective spatial texture frames (STF) at its native spatial resolution that preserve the rich spatial details, and the other temporal motion frames (TMF) at a lower spatial resolution that retain the motion smoothness; then compress them together using any popular video coder; and finally synthesize decoded STFs and TMFs for high-fidelity video reconstruction at the same resolution as its native input. This work simply applies the bicubic resampling in decomposition and HEVC compliant codec in compression, and puts the focus on the synthesis part. For resolution-adaptive synthesis, a motion compensation network (MCN) is devised on TMFs to efficiently align and aggregate temporal motion features that will be jointly processed with corresponding STFs using a non-local texture transfer network (NL-TTN) to better augment spatial details, by which the compression and resolution resampling noises can be effectively alleviated with better rate-distortion efficiency. Such "Decomposition, Compression, Synthesis (DCS)" based scheme is codec agnostic, currently exemplifying averaged ≈1 dB PSNR gain or ≈25% BD-rate saving, against the HEVC anchor using reference software. In addition, experimental comparisons to the state-of-the-art methods and ablation studies are conducted to further report the efficiency and generalization of DCS algorithm, promising an encouraging direction for future video coding.