arXiv reaDer
ブラインド画像超解像のための深層学習技術: 高スケールのマルチドメイン透視評価
Deep learning techniques for blind image super-resolution: A high-scale multi-domain perspective evaluation
最近、深層学習 (DL) 技術によって強化された画像超解像度 (SR) に対処するいくつかのソリューションや実験が実施されていますが、通常は 2 倍または 4 倍を上限とする高いスケーリング係数を使用して評価を設計することはありません。さらに、データセットは一般にベンチマークであり、技術を適切に評価するための大幅な多様性を真に網羅しているわけではありません。また、ブラインド SR は劣化プロセスが不明であるという考えに基づいており、したがってこの文脈における技術は基本的に低解像度 (LR) 画像に依存しているため、現実世界のシナリオにとって魅力的であると指摘することも興味深いです。この記事では、ブラインド画像 SR に合わせて調整された 5 つの最近の DL 技術を評価する大規模 (8 倍) の制御された実験を紹介します。適応擬似拡張 (APA)、空間バリアント劣化を伴うブラインド画像 SR (BlindSR)、深層交互ネットワーク (DAN) です。 )、FastGAN、および Mixture of Experts Super-Resolution (MoESR)。私たちは、航空、動植物、医療、衛星という 5 つの異なる広範な領域からの 14 の小さなデータセットを検討します。私たちの評価のもう 1 つの際立った特徴は、DL アプローチの一部は単一画像 SR 用に設計されているが、他のアプローチはそうではないことです。技術を評価するために、古典的な自然画質評価 (NIQE) と最近のトランスフォーマーベースの無参照画質評価用多次元アテンション ネットワーク (MANIQA) スコアの 2 つの非参照メトリックが選択されました。全体として、MoESR は最良のソリューションと見なすことができますが、すべての技術で作成された HR 画像の知覚品質はまだ改善する必要があります。サポートコード: https://github.com/vsantjr/DL_BlindSR。データセット: https://www.kaggle.com/datasets/valdivinosantiago/dl-blindsr-datasets。
Despite several solutions and experiments have been conducted recently addressing image super-resolution (SR), boosted by deep learning (DL) techniques, they do not usually design evaluations with high scaling factors, capping it at 2x or 4x. Moreover, the datasets are generally benchmarks which do not truly encompass significant diversity of domains to proper evaluate the techniques. It is also interesting to remark that blind SR is attractive for real-world scenarios since it is based on the idea that the degradation process is unknown, and hence techniques in this context rely basically on low-resolution (LR) images. In this article, we present a high-scale (8x) controlled experiment which evaluates five recent DL techniques tailored for blind image SR: Adaptive Pseudo Augmentation (APA), Blind Image SR with Spatially Variant Degradations (BlindSR), Deep Alternating Network (DAN), FastGAN, and Mixture of Experts Super-Resolution (MoESR). We consider 14 small datasets from five different broader domains which are: aerial, fauna, flora, medical, and satellite. Another distinctive characteristic of our evaluation is that some of the DL approaches were designed for single-image SR but others not. Two no-reference metrics were selected, being the classical natural image quality evaluator (NIQE) and the recent transformer-based multi-dimension attention network for no-reference image quality assessment (MANIQA) score, to assess the techniques. Overall, MoESR can be regarded as the best solution although the perceptual quality of the created HR images of all the techniques still needs to improve. Supporting code: https://github.com/vsantjr/DL_BlindSR. Datasets: https://www.kaggle.com/datasets/valdivinosantiago/dl-blindsr-datasets.
updated: Thu Jun 15 2023 18:18:02 GMT+0000 (UTC)
published: Thu Jun 15 2023 18:18:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト