自然画像の非局所的な自己相似性は、さまざまな画像処理の問題を解決するために広く活用されてきました。ビデオシーケンスに関しては、一時的な冗長性があるため、この力を利用することはさらに有益です。画像とビデオのノイズ除去のコンテキストでは、多くの古典的なアルゴリズムは自己相似性を採用し、データを重複するパッチに分割し、類似したパッチのグループを収集し、これらを何らかの方法で一緒に処理します。畳み込みニューラルネットワーク(CNN)の出現により、パッチベースのフレームワークは廃止されました。ほとんどのCNNデノイザーは画像全体を操作し、大きな受容野を使用することによって暗黙的にのみ非局所的な関係を活用します。この作品は、通常の畳み込みアーキテクチャに依存しながら、ビデオのノイズ除去のコンテキストで自己相似性を活用するための新しいアプローチを提案します。パッチクラフトフレームの概念を紹介します。これは、一致したパッチをタイリングすることによって構築された、実際のフレームに似た人工フレームです。私たちのアルゴリズムは、パッチクラフトフレームでビデオシーケンスを補強し、それらをCNNにフィードします。提案されたアプローチで得られたノイズ除去性能の大幅な向上を示します。
The non-local self-similarity property of natural images has been exploited extensively for solving various image processing problems. When it comes to video sequences, harnessing this force is even more beneficial due to the temporal redundancy. In the context of image and video denoising, many classically-oriented algorithms employ self-similarity, splitting the data into overlapping patches, gathering groups of similar ones and processing these together somehow. With the emergence of convolutional neural networks (CNN), the patch-based framework has been abandoned. Most CNN denoisers operate on the whole image, leveraging non-local relations only implicitly by using a large receptive field. This work proposes a novel approach for leveraging self-similarity in the context of video denoising, while still relying on a regular convolutional architecture. We introduce a concept of patch-craft frames - artificial frames that are similar to the real ones, built by tiling matched patches. Our algorithm augments video sequences with patch-craft frames and feeds them to a CNN. We demonstrate the substantial boost in denoising performance obtained with the proposed approach.