最近のブラインド超解像(SR)手法は、通常、劣化予測用と条件付き復元用の2つのブランチで構成されています。ただし、私たちの実験では、1ブランチネットワークが2ブランチスキームと同等のパフォーマンスを達成できることが示されています。次に、1つのブランチネットワークが劣化を区別することを自動的に学習するにはどうすればよいのでしょうか。答えを見つけるために、新しい診断ツールである積分勾配(FAIG)に基づくフィルターアトリビューション法を提案します。以前の積分勾配法とは異なり、私たちのFAIGは、ブラインドSRネットワークでの劣化除去のために、入力ピクセル/特徴の代わりに最も識別力のあるフィルターを見つけることを目的としています。発見されたフィルターを使用して、入力画像の劣化を予測するためのシンプルで効果的な方法をさらに開発します。 FAIGに基づいて、1ブランチブラインドSRネットワークでは、1)特定の劣化ごとに非常に少数(1%)の識別フィルターを見つけることができることを示します。 2)検出されたフィルターの重み、場所、接続はすべて、特定のネットワーク機能を決定するために重要です。 3)劣化予測のタスクは、明示的な教師あり学習なしで、これらの識別フィルターによって暗黙的に実現できます。私たちの調査結果は、1ブランチのブラインドSRネットワーク内のネットワーク動作をよりよく理解するのに役立つだけでなく、より効率的なアーキテクチャの設計とブラインドSRのネットワークの診断に関するガイダンスも提供します。
Recent blind super-resolution (SR) methods typically consist of two branches, one for degradation prediction and the other for conditional restoration. However, our experiments show that a one-branch network can achieve comparable performance to the two-branch scheme. Then we wonder: how can one-branch networks automatically learn to distinguish degradations? To find the answer, we propose a new diagnostic tool -- Filter Attribution method based on Integral Gradient (FAIG). Unlike previous integral gradient methods, our FAIG aims at finding the most discriminative filters instead of input pixels/features for degradation removal in blind SR networks. With the discovered filters, we further develop a simple yet effective method to predict the degradation of an input image. Based on FAIG, we show that, in one-branch blind SR networks, 1) we are able to find a very small number of (1%) discriminative filters for each specific degradation; 2) The weights, locations and connections of the discovered filters are all important to determine the specific network function. 3) The task of degradation prediction can be implicitly realized by these discriminative filters without explicit supervised learning. Our findings can not only help us better understand network behaviors inside one-branch blind SR networks, but also provide guidance on designing more efficient architectures and diagnosing networks for blind SR.