インタラクティブな画像復元は、復元強度を決定するいくつかの制御係数を調整することによって画像を復元することを目的としています。既存の方法は、既知の劣化タイプとレベルの監視下で制御可能な機能を学習するのに制限されています。実際の劣化が想定と異なる場合、通常、パフォーマンスが大幅に低下します。このような制限は、実際の劣化の複雑さによるものであり、トレーニング中のインタラクティブな変調を明示的に監視することはできません。ただし、実際の超解像でインタラクティブな変調を実現する方法はまだ研究されていません。この作業では、実世界の超解像(MM-RealSR)のためのメトリック学習ベースのインタラクティブ変調を提示します。具体的には、実際のシナリオで劣化レベルを推定するための教師なし劣化推定戦略を提案します。インタラクティブメカニズムの明示的な監視として既知の劣化レベルを使用する代わりに、実世界のシナリオで定量化できない劣化レベルを教師なしの方法でトレーニングされた距離空間にマッピングする距離学習戦略を提案します。さらに、距離空間の分布を正規化するために、距離学習プロセスにアンカーポイント戦略を導入します。広範な実験は、提案されたMM-RealSRが実世界の超解像で優れた変調および復元性能を達成することを示しています。コードはhttps://github.com/TencentARC/MM-RealSRで入手できます。
Interactive image restoration aims to restore images by adjusting several controlling coefficients, which determine the restoration strength. Existing methods are restricted in learning the controllable functions under the supervision of known degradation types and levels. They usually suffer from a severe performance drop when the real degradation is different from their assumptions. Such a limitation is due to the complexity of real-world degradations, which can not provide explicit supervision to the interactive modulation during training. However, how to realize the interactive modulation in real-world super-resolution has not yet been studied. In this work, we present a Metric Learning based Interactive Modulation for Real-World Super-Resolution (MM-RealSR). Specifically, we propose an unsupervised degradation estimation strategy to estimate the degradation level in real-world scenarios. Instead of using known degradation levels as explicit supervision to the interactive mechanism, we propose a metric learning strategy to map the unquantifiable degradation levels in real-world scenarios to a metric space, which is trained in an unsupervised manner. Moreover, we introduce an anchor point strategy in the metric learning process to normalize the distribution of metric space. Extensive experiments demonstrate that the proposed MM-RealSR achieves excellent modulation and restoration performance in real-world super-resolution. Codes are available at https://github.com/TencentARC/MM-RealSR.