arXiv reaDer
因果関係の観点からの画像復元のための歪み不変表現の学習
Learning Distortion Invariant Representation for Image Restoration from A Causality Perspective
近年、画像復元におけるディープ ニューラル ネットワーク (DNN) の大きな進歩を目の当たりにしてきました。ただし、重要な制限は、さまざまな程度や種類の実際の劣化にうまく一般化できないことです。この論文では、未知の劣化に対するDNNの一般化能力を改善するために、因果関係の観点から画像復元のための新しいトレーニング戦略を提案した最初の人です。歪み不変表現学習 (DIL) と呼ばれる私たちの方法は、各歪みの種類と程度を 1 つの特定の交絡因子として扱い、各劣化の有害な交絡効果を排除することによって歪み不変表現を学習します。最適化の観点からさまざまな歪みの介入をモデル化することにより、因果関係のバックドア基準を使用して DIL を導き出します。特に、仮想歪みのタイプと程度を交絡因子としてシミュレートするために、反事実歪み増強を導入します。次に、対応する歪んだ画像に基づいて仮想モデルを更新して、各歪みの介入をインスタンス化し、メタ学習の観点からそれらを排除します。広範な実験により、目に見えない歪みのタイプと程度の一般化機能に対するDILの有効性が実証されています。コードは https://github.com/lixinustc/Causal-IR-DIL で入手できます。
In recent years, we have witnessed the great advancement of Deep neural networks (DNNs) in image restoration. However, a critical limitation is that they cannot generalize well to real-world degradations with different degrees or types. In this paper, we are the first to propose a novel training strategy for image restoration from the causality perspective, to improve the generalization ability of DNNs for unknown degradations. Our method, termed Distortion Invariant representation Learning (DIL), treats each distortion type and degree as one specific confounder, and learns the distortion-invariant representation by eliminating the harmful confounding effect of each degradation. We derive our DIL with the back-door criterion in causality by modeling the interventions of different distortions from the optimization perspective. Particularly, we introduce counterfactual distortion augmentation to simulate the virtual distortion types and degrees as the confounders. Then, we instantiate the intervention of each distortion with a virtual model updating based on corresponding distorted images, and eliminate them from the meta-learning perspective. Extensive experiments demonstrate the effectiveness of our DIL on the generalization capability for unseen distortion types and degrees. Our code will be available at https://github.com/lixinustc/Causal-IR-DIL.
updated: Fri Mar 31 2023 08:02:01 GMT+0000 (UTC)
published: Mon Mar 13 2023 05:04:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト