arXiv reaDer
歪み関係ガイド付き転送学習による数ショットの実像超解像
Few-Shot Real Image Super-resolution via Distortion-Relation Guided Transfer Learning
実世界で大きくクリーンに歪んだトレーニング画像ペアを収集することは簡単ではありません。これは、これらの教師あり学習ベースの画像超解像(SR)メソッドの実際のアプリケーションを深刻に制限します。以前の作品は、教師なし学習技術を活用してペアのトレーニングサンプルへの依存を軽減することにより、この問題に対処しようとしています。ただし、これらの方法は通常、クリーンな画像監視がないため、不十分なテクスチャ合成に悩まされます。純粋に教師なしのソリューションと比較して、Few-Shot clean images(FS-RSR)を使用した十分に検討されていないスキームは、この困難なRealImageSuper-Resolutionタスクに取り組むのに適しています。この論文では、数ショットの実像超解像を調査し、歪み関係に基づく伝達学習(DRTLと呼ばれる)フレームワークを提案するのは初めてです。 DRTLは、知識グラフを割り当てて、補助タスク(つまり、合成歪み)とターゲットタスク(つまり、画像が少ない実際の歪み)の間の歪みの関係をキャプチャし、勾配重み付け戦略を採用して、補助タスクからターゲットタスクへの知識の伝達をガイドします。 。このようにして、DRTLは、ターゲットの歪みに対する以前の歪みから最も関連性の高い知識をすばやく学習できます。歪み関係を意識したFS-RSRを実現するための実施例として、事前トレーニングおよびメタ学習パイプラインと統合されたDRTLをインスタンス化します。複数のベンチマークでの広範な実験は、数ショットの実像超解像でのDRTLの有効性を示しています。
Collecting large clean-distorted training image pairs in real world is non-trivial, which seriously limits the practical applications of these supervised learning based image super-resolution (SR) methods. Previous works attempt to address this problem by leveraging unsupervised learning technologies to alleviate the dependency for paired training samples. However, these methods typically suffer from unsatisfactory textures synthesis due to the lack of clean image supervision. Compared with purely unsupervised solution, the under-explored scheme with Few-Shot clean images (FS-RSR) is more feasible to tackle this challenging Real Image Super-Resolution task. In this paper, we are the first to investigate the few-shot real image super-resolution and propose a Distortion-Relation guided Transfer Learning (termed as DRTL) framework. DRTL assigns a knowledge graph to capture the distortion relation between auxiliary tasks (i.e., synthetic distortions) and target tasks (i.e., real distortions with few images), and then adopt a gradient weighting strategy to guide the knowledge transfer from auxiliary task to target task. In this way, DRTL could quickly learn the most relevant knowledge from the prior distortions for target distortion. We instantiate DRTL integrated with pre-training and meta-learning pipelines as an embodiment to realize a distortion-relation aware FS-RSR. Extensive experiments on multiple benchmarks demonstrate the effectiveness of DRTL on few-shot real image super-resolution.
updated: Sat Mar 12 2022 13:54:46 GMT+0000 (UTC)
published: Thu Nov 25 2021 13:33:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト