arXiv reaDer
歪み関係の観点から見た少数ショット実像超解像の詳細
A Close Look at Few-shot Real Image Super-resolution from the Distortion Relation Perspective
現実世界で歪んだ/きれいな画像のペアを大量に収集することは自明ではなく、現実世界の画像超解像 (RealSR) でのこれらの教師あり学習ベースの方法の実用的なアプリケーションを深刻に制限します。以前の研究では、通常、教師なし学習ベースのテクノロジを活用してペアのトレーニング サンプルへの依存を軽減することで、この問題に対処していました。ただし、これらの方法は通常、きれいな画像の監視が不足しているため、不十分なテクスチャ合成に悩まされます。この問題を克服するために、私たちは RealSR の未開拓の方向性、つまり少数ショットの現実世界の画像の超解像を詳しく調べた最初の企業です。きれいな画像のペア。このまったく新しいシナリオの下で、歪み関係のガイダンスの下で、補助歪み (つまり、合成歪み) からターゲット RealSR に豊富な復元知識を転送することにより、少数ショット RealSR の歪み関係ガイド付き転送学習 (DRTL) を提案します。具体的には、DRTL はナレッジ グラフを構築して、補助歪みとターゲット歪み (つまり、RealSR における実際の歪み) の間の歪み関係をキャプチャします。歪み関係に基づいて、DRTL は勾配再重み付け戦略を採用して、補助歪みとターゲット歪みの間の知識伝達プロセスを導きます。このようにして、DRTL は、ターゲットの歪みの合成歪みから最も関連性の高い知識をすばやく学習できます。事前トレーニングとメタ学習パイプラインを含む、一般的に使用される 2 つの転移学習パラダイムを使用して DRTL をインスタンス化し、歪み関係を認識する少数ショット RealSR を実現します。複数のベンチマークに関する広範な実験と徹底的なアブレーション研究により、DRTL の有効性が実証されています。
Collecting amounts of distorted/clean image pairs in the real world is non-trivial, which seriously limits the practical applications of these supervised learning-based methods on real-world image super-resolution (RealSR). Previous works usually address this problem by leveraging unsupervised learning-based technologies to alleviate the dependency on paired training samples. However, these methods typically suffer from unsatisfactory texture synthesis due to the lack of supervision of clean images. To overcome this problem, we are the first to have a close look at the under-explored direction for RealSR, i.e., few-shot real-world image super-resolution, which aims to tackle the challenging RealSR problem with few-shot distorted/clean image pairs. Under this brand-new scenario, we propose Distortion Relation guided Transfer Learning (DRTL) for the few-shot RealSR by transferring the rich restoration knowledge from auxiliary distortions (i.e., synthetic distortions) to the target RealSR under the guidance of distortion relation. Concretely, DRTL builds a knowledge graph to capture the distortion relation between auxiliary distortions and target distortion (i.e., real distortions in RealSR). Based on the distortion relation, DRTL adopts a gradient reweighting strategy to guide the knowledge transfer process between auxiliary distortions and target distortions. In this way, DRTL could quickly learn the most relevant knowledge from the synthetic distortions for the target distortion. We instantiate DRTL with two commonly-used transfer learning paradigms, including pre-training and meta-learning pipelines, to realize a distortion relation-aware Few-shot RealSR. Extensive experiments on multiple benchmarks and thorough ablation studies demonstrate the effectiveness of our DRTL.
updated: Tue Apr 18 2023 07:06:22 GMT+0000 (UTC)
published: Thu Nov 25 2021 13:33:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト