arXiv reaDer
一般から特定へ:ブラインド超解像のためのオンライン更新
From General to Specific: Online Updating for Blind Super-Resolution
ほとんどの深層学習ベースの超解像(SR)メソッドは、画像固有ではありません。1)トレーニングデータとテストデータの間のドメインギャップに関係なく、事前定義された劣化(バイキュービックダウンサンプリングなど)によって合成されたサンプルでトレーニングされます。 2)テスト中、劣化の多様性を無視して、同じモデルの重みのセットですべての画像を超解像します。その結果、以前のほとんどの方法では、テスト画像の劣化が不明でさまざまな場合(つまり、ブラインドSRの場合)にパフォーマンスが低下する可能性があります。これらの問題に対処するために、オンラインSR(ONSR)方式を提案します。事前定義された劣化に依存せず、テスト画像の劣化に応じてモデルの重みを更新できます。具体的には、ONSRは内部ブランチ(IB)と外部ブランチ(EB)の2つのブランチで構成されています。 IBは、特定のテストLR画像の特定の劣化を学習でき、EBは、学習した劣化によって劣化した画像を超解像することを学習できます。このようにして、ONSRは、テストイメージごとに特定のモデルをカスタマイズできるため、さまざまな劣化に対してより堅牢になります。合成画像と実世界画像の両方での広範な実験は、ONSRがより視覚的に好ましいSR結果を生成し、ブラインドSRで最先端のパフォーマンスを達成できることを示しています。
Most deep learning-based super-resolution (SR) methods are not image-specific: 1) They are trained on samples synthesized by predefined degradations (e.g. bicubic downsampling), regardless of the domain gap between training and testing data. 2) During testing, they super-resolve all images by the same set of model weights, ignoring the degradation variety. As a result, most previous methods may suffer a performance drop when the degradations of test images are unknown and various (i.e. the case of blind SR). To address these issues, we propose an online SR (ONSR) method. It does not rely on predefined degradations and allows the model weights to be updated according to the degradation of the test image. Specifically, ONSR consists of two branches, namely internal branch (IB) and external branch (EB). IB could learn the specific degradation of the given test LR image, and EB could learn to super resolve images degraded by the learned degradation. In this way, ONSR could customize a specific model for each test image, and thus get more robust to various degradations. Extensive experiments on both synthesized and real-world images show that ONSR can generate more visually favorable SR results and achieve state-of-the-art performance in blind SR.
updated: Tue Mar 15 2022 06:58:02 GMT+0000 (UTC)
published: Tue Jul 06 2021 05:25:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト