ディープニューラルネットワークは、計算イメージングで発生するさまざまな逆問題にうまく適用されています。これらのネットワークは通常、反転される測定プロセスを記述するフォワードモデルを使用してトレーニングされます。これは、多くの場合、ネットワーク自体に直接組み込まれます。ただし、これらのアプローチには、フォワードモデルのドリフトに対する堅牢性が欠けています。テスト時に、フォワードモデルがネットワークのトレーニング対象のものと(わずかでも)異なる場合、再構築のパフォーマンスが大幅に低下する可能性があります。既知のフォワードモデルを使用して初期逆問題を解決するようにトレーニングされたネットワークを前提として、摂動の完全な知識がなくても、ネットワークを摂動フォワードモデルに適応させる2つの新しい手順を提案します。私たちのアプローチでは、より多くのラベル付きデータ(つまり、グラウンドトゥルース画像)にアクセスする必要はありませんが、キャリブレーション測定の小さなセットのみが必要です。これらの単純なモデル適応手順が、磁気共鳴画像法でのぼけ除去、超解像、アンダーサンプリング画像再構成など、さまざまな設定でフォワードモデルの変化に対するロバスト性を経験的に達成することを示します。
Deep neural networks have been applied successfully to a wide variety of inverse problems arising in computational imaging. These networks are typically trained using a forward model that describes the measurement process to be inverted, which is often incorporated directly into the network itself. However, these approaches lack robustness to drift of the forward model: if at test time the forward model varies (even slightly) from the one the network was trained for, the reconstruction performance can degrade substantially. Given a network trained to solve an initial inverse problem with a known forward model, we propose two novel procedures that adapt the network to a perturbed forward model, even without full knowledge of the perturbation. Our approaches do not require access to more labeled data (i.e., ground truth images), but only a small set of calibration measurements. We show these simple model adaptation procedures empirically achieve robustness to changes in the forward model in a variety of settings, including deblurring, super-resolution, and undersampled image reconstruction in magnetic resonance imaging.