arXiv reaDer
先読みの前方モジュールで後方反復モジュールを模倣することによる一方向ビデオノイズ除去
Unidirectional Video Denoising by Mimicking Backward Recurrent Modules with Look-ahead Forward Ones
ディープビデオノイズ除去では大きな進歩が見られましたが、過去および将来のフレームを活用することは依然として非常に困難です。双方向リカレントネットワーク(BiRNN)は、いくつかのビデオ復元タスクで魅力的なパフォーマンスを示しています。ただし、BiRNNは、後方反復モジュールを使用して最後のフレームから現在のフレームに伝播するため、本質的にオフラインになります。これにより、待ち時間が長くなり、メモリ消費量が大きくなります。 BiRNNのオフラインの問題に対処するために、単方向ビデオノイズ除去用のフォワードおよびルックアヘッドリカレントモジュールで構成される新しいリカレントネットワークを紹介します。特に、先読みモジュールは、近未来のフレームからの情報を活用するための精巧なフォワードモジュールです。現在のフレームのノイズを除去する場合、前方および先読みの反復モジュールによる隠された機能が組み合わされるため、過去のフレームと近い将来のフレームの両方を活用できます。隣接しないフレーム間のシーンの動きにより、近未来のフレームから現在のフレームに先読み機能をワープするときに境界ピクセルが欠落する可能性があります。これは、前方ワープと境界拡大を組み込むことで大幅に軽減できます。実験は、私たちの方法が一定の待ち時間とメモリ消費で最先端のパフォーマンスを達成することを示しています。ソースコードと事前にトレーニングされたモデルは公開されます。
While significant progress has been made in deep video denoising, it remains very challenging for exploiting historical and future frames. Bidirectional recurrent networks (BiRNN) have exhibited appealing performance in several video restoration tasks. However, BiRNN is intrinsically offline because it uses backward recurrent modules to propagate from the last to current frames, which causes high latency and large memory consumption. To address the offline issue of BiRNN, we present a novel recurrent network consisting of forward and look-ahead recurrent modules for unidirectional video denoising. Particularly, look-ahead module is an elaborate forward module for leveraging information from near-future frames. When denoising the current frame, the hidden features by forward and look-ahead recurrent modules are combined, thereby making it feasible to exploit both historical and near-future frames. Due to the scene motion between non-neighboring frames, border pixels missing may occur when warping look-ahead feature from near-future frame to current frame, which can be largely alleviated by incorporating forward warping and border enlargement. Experiments show that our method achieves state-of-the-art performance with constant latency and memory consumption. The source code and pre-trained models will be publicly available.
updated: Tue Apr 12 2022 05:33:15 GMT+0000 (UTC)
published: Tue Apr 12 2022 05:33:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト