最近、Steinの不偏リスク推定器(SURE)は、古典的な非深層学習ベースのノイズ除去器を上回り、グラウンドトゥルースでトレーニングされたものと同等のパフォーマンスをもたらした、ディープニューラルネットワークガウスノイズ除去器の教師なしトレーニングに適用されました。 SUREはトレーニングのために画像ごとに1つのノイズ認識のみを必要としますが、利用可能な場合は画像ごとに複数のノイズ認識を使用することを利用しません(たとえば、Noise2Noiseの画像ごとに2つの非相関ノイズ認識)。ここでは、拡張SURE(eSURE)を提案して、画像ごとの相関ノイズペアを使用してディープデノイザーをトレーニングし、それを画像ごとの2つの非相関認識のケースに適用して、SUREベースの方法よりも優れたパフォーマンスとNoise2Noiseに匹敵する結果を達成します。次に、複数のノイズの多い画像を含むグランドトゥルース画像を収集する骨の折れる、時間のかかる、さらには高価なプロセスを考慮して取得できる不完全なグランドトゥルース(つまり、グランドトゥルースの穏やかなノイズ)のケースをさらに調査しました。画像の相関ペアを生成するために合成ノイズを不完全なグラウンドトゥルースに追加してノイズのあるトレーニングデータを生成する場合、提案されたeSUREベースのトレーニング方法は、Noise2Noiseと同様に従来のSUREベースの方法よりも優れていました。
Recently, Stein's unbiased risk estimator (SURE) has been applied to unsupervised training of deep neural network Gaussian denoisers that outperformed classical non-deep learning based denoisers and yielded comparable performance to those trained with ground truth. While SURE requires only one noise realization per image for training, it does not take advantage of having multiple noise realizations per image when they are available (e.g., two uncorrelated noise realizations per image for Noise2Noise). Here, we propose an extended SURE (eSURE) to train deep denoisers with correlated pairs of noise realizations per image and applied it to the case with two uncorrelated realizations per image to achieve better performance than SURE based method and comparable results to Noise2Noise. Then, we further investigated the case with imperfect ground truth (i.e., mild noise in ground truth) that may be obtained considering painstaking, time-consuming, and even expensive processes of collecting ground truth images with multiple noisy images. For the case of generating noisy training data by adding synthetic noise to imperfect ground truth to yield correlated pairs of images, our proposed eSURE based training method outperformed conventional SURE based method as well as Noise2Noise.