ディープニューラルネットワーク(DNN)ベースの超解像アルゴリズムにより、生成される画像の品質が大幅に向上しました。ただし、これらのアルゴリズムは、位置がずれた光学ズームの学習が難しいため、実際の超解像問題を処理するときに重大なアーティファクトを生成することがよくあります。この論文では、この問題に対処するために、Squared Deformable Alignment Network(SDAN)を紹介します。私たちのネットワークは、畳み込みカーネルのポイントごとのオフセットの2乗を学習し、オフセットに基づいて修正された畳み込みウィンドウの特徴を整列させます。したがって、ミスアライメントは、抽出されたアライメントされたフィーチャによって最小限に抑えられます。バニラ変形可能畳み込みネットワーク(DCN)で使用されるポイントごとのオフセットとは異なり、提案された2乗オフセットは、オフセット学習を加速するだけでなく、より少ないパラメーターで生成品質を向上させます。さらに、学習したオフセットの精度を高めるために、効率的なクロスパッキングアテンションレイヤーをさらに提案します。パッキングおよびアンパッキング操作を活用して、オフセット学習の受容野を拡大し、低解像度画像と参照画像の間の空間接続を抽出する機能を強化します。包括的な実験は、計算効率と現実的な詳細の両方において、他の最先端の方法に対する私たちの方法の優位性を示しています。
Deep Neural Network (DNN) based super-resolution algorithms have greatly improved the quality of the generated images. However, these algorithms often yield significant artifacts when dealing with real-world super-resolution problems due to the difficulty in learning misaligned optical zoom. In this paper, we introduce a Squared Deformable Alignment Network (SDAN) to address this issue. Our network learns squared per-point offsets for convolutional kernels, and then aligns features in corrected convolutional windows based on the offsets. So the misalignment will be minimized by the extracted aligned features. Different from the per-point offsets used in the vanilla Deformable Convolutional Network (DCN), our proposed squared offsets not only accelerate the offset learning but also improve the generation quality with fewer parameters. Besides, we further propose an efficient cross packing attention layer to boost the accuracy of the learned offsets. It leverages the packing and unpacking operations to enlarge the receptive field of the offset learning and to enhance the ability of extracting the spatial connection between the low-resolution images and the referenced images. Comprehensive experiments show the superiority of our method over other state-of-the-art methods in both computational efficiency and realistic details.