arXiv reaDer
歪み関係に基づく伝達学習による数ショットの実画像復元
Few-Shot Real Image Restoration via Distortion-Relation Guided Transfer Learning
実世界で大きくクリーンに歪んだトレーニング画像ペアを収集することは簡単ではありません。これは、これらの教師あり学習ベースの画像復元(IR)メソッドの実際のアプリケーションを深刻に制限します。以前の研究では、教師なし学習テクノロジーを活用して、ペアのトレーニングサンプルへの依存を軽減することにより、この問題に対処しようとしています。ただし、これらの方法は通常、クリーンな画像監視がないため、不十分なテクスチャ合成に悩まされます。純粋に教師なしソリューションと比較して、Few-Shotクリーンイメージ(FS-IR)を使用した十分に検討されていないスキームは、この困難な実際のイメージ復元タスクに取り組むためにより実行可能です。この論文では、私たちは数ショットの実際の画像の復元を調査し、歪み関係ガイド付き転送学習(DRTLと呼ばれる)フレームワークを提案する最初の人です。 DRTLは、知識グラフを割り当てて、補助タスク(つまり、合成歪み)とターゲットタスク(つまり、画像が少ない実際の歪み)の間の歪みの関係をキャプチャし、勾配重み付け戦略を採用して、補助タスクからターゲットタスクへの知識の伝達をガイドします。 。このようにして、DRTLは、ターゲットの歪みに対する以前の歪みから最も関連性の高い知識をすばやく学習できます。歪み関係を意識したFS-IRを実現するための実施形態として、事前トレーニングおよびメタ学習パイプラインと統合されたDRTLをインスタンス化します。複数のベンチマークでの広範な実験は、数ショットの実際の画像の復元に対するDRTLの有効性を示しています。
Collecting large clean-distorted training image pairs in real world is non-trivial, which seriously limits the practical applications of these supervised learning based image restoration (IR) methods. Previous works attempt to address this problem by leveraging unsupervised learning technologies to alleviate the dependency for paired training samples. However, these methods typically suffer from unsatisfactory textures synthesis due to the lack of clean image supervision. Compared with purely unsupervised solution, the under-explored scheme with Few-Shot clean images (FS-IR) is more feasible to tackle this challenging real Image Restoration task. In this paper, we are the first to investigate the few-shot real image restoration and propose a Distortion-Relation guided Transfer Learning (termed as DRTL) framework. DRTL assigns a knowledge graph to capture the distortion relation between auxiliary tasks (i.e., synthetic distortions) and target tasks (i.e., real distortions with few images), and then adopt a gradient weighting strategy to guide the knowledge transfer from auxiliary task to target task. In this way, DRTL could quickly learn the most relevant knowledge from the prior distortions for target distortion. We instantiate DRTL integrated with pre-training and meta-learning pipelines as an embodiment to realize a distortion-relation aware FS-IR. Extensive experiments on multiple benchmarks demonstrate the effectiveness of DRTL on few-shot real image restoration.
updated: Thu Nov 25 2021 13:33:14 GMT+0000 (UTC)
published: Thu Nov 25 2021 13:33:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト