超解像(SR)は、低レベルの視覚領域の基本的かつ代表的なタスクです。一般に、SRネットワークから抽出された特徴には特定の意味情報がなく、ネットワークは入力から出力への複雑な非線形マッピングを学習するだけであると考えられています。 SRネットワークで「セマンティクス」を見つけることができますか?この論文では、この質問に肯定的な答えを示します。次元削減と視覚化を使用して特徴表現を分析することにより、SRネットワークの深い意味表現、つまり画像の劣化の種類と程度に関連する深い劣化表現(DDR)を発見することに成功しました。また、分類ネットワークとSRネットワーク間の表現セマンティクスの違いを明らかにします。広範な実験と分析を通じて、一連の観察と結論を導き出します。これらは、低レベルCNNネットワークの固有のメカニズムの解釈や、ブラインドSRの新しい評価アプローチの開発など、将来の作業にとって非常に重要です。
Super-resolution (SR) is a fundamental and representative task of low-level vision area. It is generally thought that the features extracted from the SR network have no specific semantic information, and the network simply learns complex non-linear mappings from input to output. Can we find any "semantics" in SR networks? In this paper, we give affirmative answers to this question. By analyzing the feature representations with dimensionality reduction and visualization, we successfully discover the deep semantic representations in SR networks, i.e., deep degradation representations (DDR), which relate to the image degradation types and degrees. We also reveal the differences in representation semantics between classification and SR networks. Through extensive experiments and analysis, we draw a series of observations and conclusions, which are of great significance for future work, such as interpreting the intrinsic mechanisms of low-level CNN networks and developing new evaluation approaches for blind SR.