画像の超解像は、監視やリモートセンシングなど、多くの分野で重要です。ただし、光学機器は比較的高価であるため、通常、赤外線(IR)画像の解像度は低くなります。最近、深層学習法が画像の超解像を支配し、可視画像で驚くべきパフォーマンスを達成しました。ただし、IR画像はあまり注目されていません。 IR画像はパターンが少ないため、ディープニューラルネットワーク(DNN)がIR画像から多様な特徴を学習することは困難です。この論文では、IR画像の超解像のために、異種の畳み込みと敵対的トレーニング、すなわち、異種のカーネルベースの超解像ワッサースタインGAN(HetSRWGAN)を採用するフレームワークを提示します。 HetSRWGANアルゴリズムは、プラグアンドプレイの異種カーネルベースの残差ブロックを適用する軽量のGANアーキテクチャです。また、画像勾配を利用した新しい損失関数を採用し、任意のモデルに適用できます。提案されたHetSRWGANは、定性的評価と定量的評価の両方で一貫して優れたパフォーマンスを実現します。実験結果によると、トレーニングプロセス全体がより安定しています。
Image super-resolution is important in many fields, such as surveillance and remote sensing. However, infrared (IR) images normally have low resolution since the optical equipment is relatively expensive. Recently, deep learning methods have dominated image super-resolution and achieved remarkable performance on visible images; however, IR images have received less attention. IR images have fewer patterns, and hence, it is difficult for deep neural networks (DNNs) to learn diverse features from IR images. In this paper, we present a framework that employs heterogeneous convolution and adversarial training, namely, heterogeneous kernel-based super-resolution Wasserstein GAN (HetSRWGAN), for IR image super-resolution. The HetSRWGAN algorithm is a lightweight GAN architecture that applies a plug-and-play heterogeneous kernel-based residual block. Moreover, a novel loss function that employs image gradients is adopted, which can be applied to an arbitrary model. The proposed HetSRWGAN achieves consistently better performance in both qualitative and quantitative evaluations. According to the experimental results, the whole training process is more stable.