ディープネットワークは、医用画像から計算写真に至るまで、複数の画像逆問題で最先端のパフォーマンスを提供します。ただし、ほとんどの既存のネットワークは、取得が困難または不可能なことが多いクリーンな信号でトレーニングされています。同変イメージング(EI)は、信号分布に存在するグループ不変性を利用して、部分的な測定データのみから再構成関数を学習する、最近の自己監視学習フレームワークです。 EIの結果は印象的ですが、ノイズが増えるとパフォーマンスが低下します。この論文では、ノイズの多い部分測定のみから画像化することを学習できるロバスト同変画像化(REI)フレームワークを提案します。提案された方法は、スタインの偏りのないリスク推定量(SURE)を使用して、ノイズに対してロバストな完全に監視されていないトレーニング損失を取得します。 REIは、線形および非線形の逆問題で大幅なパフォーマンスの向上をもたらし、それによって、深いネットワークを使用した堅牢な教師なしイメージングへの道を開くことを示します。コードはhttps://github.com/edongdongchen/REIで入手できます。
Deep networks provide state-of-the-art performance in multiple imaging inverse problems ranging from medical imaging to computational photography. However, most existing networks are trained with clean signals which are often hard or impossible to obtain. Equivariant imaging (EI) is a recent self-supervised learning framework that exploits the group invariance present in signal distributions to learn a reconstruction function from partial measurement data alone. While EI results are impressive, its performance degrades with increasing noise. In this paper, we propose a Robust Equivariant Imaging (REI) framework which can learn to image from noisy partial measurements alone. The proposed method uses Stein's Unbiased Risk Estimator (SURE) to obtain a fully unsupervised training loss that is robust to noise. We show that REI leads to considerable performance gains on linear and nonlinear inverse problems, thereby paving the way for robust unsupervised imaging with deep networks. Code will be available at: https://github.com/edongdongchen/REI.