arXiv reaDer
ブラインド超解像のためのメタ学習ベースの劣化表現
Meta-Learning based Degradation Representation for Blind Super-Resolution
CNNベースの超解像(SR)メソッドのほとんどは、劣化が既知であると想定しています(たとえば、バイキュービック)。これらの方法は、劣化が想定と異なる場合、パフォーマンスが大幅に低下します。したがって、いくつかのアプローチは、実際の劣化空間をカバーするために、複数の劣化の複雑な組み合わせでSRネットワークをトレーニングしようとします。複数の未知の劣化に適応するために、明示的な劣化推定器を導入すると、実際にSRのパフォーマンスを向上させることができます。ただし、以前の明示的な劣化推定方法では、通常、グラウンドトゥルースぼかしカーネルを監視してガウスぼかしを予測し、推定誤差がSRの失敗につながる可能性があります。したがって、暗黙の識別劣化表現を抽出できる方法を設計する必要があります。この目的のために、メタ学習ネットワーク(MLN)、劣化抽出ネットワーク(DEN)、および地域劣化認識SRネットワーク(RDAN)を含むメタ学習ベースの地域劣化認識SRネットワーク(MRDA)を提案します。グラウンドトゥルース劣化の欠如を処理するために、MLNを使用して、数回の反復後に特定の複雑な劣化に迅速に適応し、暗黙の劣化情報を抽出します。続いて、教師ネットワークMRDA_Tは、MLNによって抽出された劣化情報をSRにさらに利用するように設計されています。ただし、MLNでは、ペアの低解像度(LR)画像と対応する高解像度(HR)画像を反復処理する必要があります。これは、推論フェーズでは使用できません。したがって、知識蒸留(KD)を採用して、学生ネットワークに、LR画像から教師と同じ暗黙の劣化表現(IDR)を直接抽出することを学習させます。
The most of CNN based super-resolution (SR) methods assume that the degradation is known (e.g. , bicubic). These methods will suffer a severe performance drop when the degradation is different from their assumption. Therefore, some approaches attempt to train SR networks with the complex combination of multiple degradations to cover the real degradation space. To adapt to multiple unknown degradations, introducing an explicit degradation estimator can actually facilitate SR performance. However, previous explicit degradation estimation methods usually predict Gaussian blur with the supervision of groundtruth blur kernels, and estimation errors may lead to SR failure. Thus, it is necessary to design a method that can extract implicit discriminative degradation representation. To this end, we propose a Meta-Learning based Region Degradation Aware SR Network (MRDA), including Meta-Learning Network (MLN), Degradation Extraction Network (DEN), and Region Degradation Aware SR Network (RDAN). To handle the lack of groundtruth degradation, we use the MLN to rapidly adapt to the specific complex degradation after several iterations and extract implicit degradation information. Subsequently, a teacher network MRDA_T is designed to further utilize the degradation information extracted by MLN for SR. However, MLN requires iterating on paired low-resolution (LR) and corresponding high-resolution (HR) images, which is unavailable in the inference phase. Therefore, we adopt knowledge distillation (KD) to make the student network learn to directly extract the same implicit degradation representation (IDR) as the teacher from LR images.
updated: Sat Jun 03 2023 05:08:14 GMT+0000 (UTC)
published: Thu Jul 28 2022 09:03:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト