時間的特徴を効率的に利用する方法は、ビデオの復元にとって非常に重要ですが、困難です。時間的特徴には通常、さまざまなノイズの多い無相関の情報が含まれており、現在のフレームの復元を妨げる可能性があります。この論文は、ビデオの復元を支援するために、ノイズに強い特徴表現を学習することを提案します。私たちは、神経コーデックが自然なノイズ除去装置であることに触発されています。ニューラルコーデックでは、予測が難しいがビットレートを節約するために多くのビットを消費するノイズの多い無相関のコンテンツは破棄される傾向があります。したがって、ノイズをフィルタリングし、ビデオ復元の機能で最も有用な情報を保持する神経圧縮モジュールを設計します。ノイズに対するロバスト性を実現するために、圧縮モジュールは空間チャネル単位の量子化メカニズムを採用して、潜在的な各位置の量子化ステップサイズを適応的に決定します。実験によると、私たちの方法はビデオノイズ除去のパフォーマンスを大幅に向上させることができ、わずか0.23倍のFLOPでBasicVSR++よりも0.13dB向上しています。一方、私たちの方法では、ビデオのドレインとヘイズ除去に関するSOTAの結果も取得します。
How to efficiently utilize the temporal features is crucial, yet challenging, for video restoration. The temporal features usually contain various noisy and uncorrelated information, and they may interfere with the restoration of the current frame. This paper proposes learning noise-robust feature representations to help video restoration. We are inspired by that the neural codec is a natural denoiser. In neural codec, the noisy and uncorrelated contents which are hard to predict but cost lots of bits are more inclined to be discarded for bitrate saving. Therefore, we design a neural compression module to filter the noise and keep the most useful information in features for video restoration. To achieve robustness to noise, our compression module adopts a spatial-channel-wise quantization mechanism to adaptively determine the quantization step size for each position in the latent. Experiments show that our method can significantly boost the performance on video denoising, where we obtain 0.13 dB improvement over BasicVSR++ with only 0.23x FLOPs. Meanwhile, our method also obtains SOTA results on video deraining and dehazing.