エンドツーエンドのディープ ニューラル ネットワーク (DNN) は、逆問題を解くための最先端 (SOTA) になりました。その優れた性能にもかかわらず、このようなネットワークは、展開時にテスト パイプラインのわずかな変動に敏感であり、医療画像、天文学、または防衛において重要な機能である、小さくても重要な詳細の再構築に失敗することがよくあります。 DNN のこのような不安定性は、展開中に順方向測定モデルを無視し、出力測定と入力測定の間の一貫性を確保できないという事実によって説明できます。これを克服するために、逆問題の DNN を測定一貫性のあるものに変換するフレームワークを提案します。これは、モデルベースの最適化問題を解決するように設計された暗黙のレイヤー (または深い平衡ネットワーク) を追加することによって行われます。暗黙的なレイヤーは、SOTA DNN を固定したまま、エンドツーエンドのトレーニングに統合できる浅い学習可能なネットワークで構成されます。単一画像の超解像に関する実験は、提案されたフレームワークが SOTA DNN よりも再構成の品質と堅牢性を大幅に改善することを示しています。
End-to-end deep neural networks (DNNs) have become the state-of-the-art (SOTA) for solving inverse problems. Despite their outstanding performance, during deployment, such networks are sensitive to minor variations in the testing pipeline and often fail to reconstruct small but important details, a feature critical in medical imaging, astronomy, or defence. Such instabilities in DNNs can be explained by the fact that they ignore the forward measurement model during deployment, and thus fail to enforce consistency between their output and the input measurements. To overcome this, we propose a framework that transforms any DNN for inverse problems into a measurement-consistent one. This is done by appending to it an implicit layer (or deep equilibrium network) designed to solve a model-based optimization problem. The implicit layer consists of a shallow learnable network that can be integrated into the end-to-end training while keeping the SOTA DNN fixed. Experiments on single-image super-resolution show that the proposed framework leads to significant improvements in reconstruction quality and robustness over the SOTA DNNs.