arXiv reaDer
BasicVSR++のビデオのブレ除去とノイズ除去への一般化について
On the Generalization of BasicVSR++ to Video Deblurring and Denoising
長期的な情報の悪用は、ビデオの復元において長年の問題でした。最近のBasicVSRとBasicVSR++は、長期的な伝播と効果的な位置合わせにより、ビデオの超解像度で卓越したパフォーマンスを示しています。彼らの成功は、彼らが別のビデオ復元タスクに移すことができるかどうかという疑問につながりました。この作業では、BasicVSR++をビデオ復元タスクの汎用フレームワークに拡張します。入力と出力が同じ空間サイズを持つタスクでは、効率を維持するために、ストライド畳み込みによって入力解像度が低下します。 BasicVSR ++からの最小限の変更のみで、提案されたフレームワークは、ビデオのブレ除去やノイズ除去を含むさまざまなビデオ復元タスクで非常に効率的に魅力的なパフォーマンスを実現します。特に、BasicVSR ++は、最大79%のパラメーター削減と、44倍の高速化により、Transformerベースのアプローチと同等のパフォーマンスを実現します。有望な結果は、ビデオの超解像だけでなく、ビデオの復元タスクにおける伝播と位置合わせの重要性を示しています。コードとモデルはhttps://github.com/ckkelvinchan/BasicVSR_PlusPlusで入手できます。
The exploitation of long-term information has been a long-standing problem in video restoration. The recent BasicVSR and BasicVSR++ have shown remarkable performance in video super-resolution through long-term propagation and effective alignment. Their success has led to a question of whether they can be transferred to different video restoration tasks. In this work, we extend BasicVSR++ to a generic framework for video restoration tasks. In tasks where inputs and outputs possess identical spatial size, the input resolution is reduced by strided convolutions to maintain efficiency. With only minimal changes from BasicVSR++, the proposed framework achieves compelling performance with great efficiency in various video restoration tasks including video deblurring and denoising. Notably, BasicVSR++ achieves comparable performance to Transformer-based approaches with up to 79% of parameter reduction and 44x speedup. The promising results demonstrate the importance of propagation and alignment in video restoration tasks beyond just video super-resolution. Code and models are available at https://github.com/ckkelvinchan/BasicVSR_PlusPlus.
updated: Sun Jun 19 2022 02:09:41 GMT+0000 (UTC)
published: Mon Apr 11 2022 17:59:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト