畳み込み演算は、特徴抽出のための強力なツールであり、コンピュータービジョンの分野で重要な役割を果たします。ただし、画像融合などのピクセル単位のタスクを対象とする場合、均一な畳み込みカーネルが異なるパッチで使用されていると、画像内の各ピクセルの特殊性を完全には認識できません。この論文では、異なる空間位置に動的に調整されるローカル適応畳み込み(LAConv)を提案します。 LAConvを使用すると、ネットワークは学習プロセスで特定のすべてのローカルエリアに注意を払うことができます。さらに、動的バイアス(DYB)が導入され、機能の描写の可能性が高まり、ネットワークがより柔軟になります。さらに、提案されたLAConvおよびDYBモジュールを備えた残余構造ネットワークを設計し、それを2つの画像融合タスクに適用します。パンシャープンとハイパースペクトル画像超解像(HISR)の実験は、他の最先端の方法に対する私たちの方法の優位性を示しています。 LAConvは、より少ない計算労力で他の超解像タスクにも対応できることを言及する価値があります。
The convolution operation is a powerful tool for feature extraction and plays a prominent role in the field of computer vision. However, when targeting the pixel-wise tasks like image fusion, it would not fully perceive the particularity of each pixel in the image if the uniform convolution kernel is used on different patches. In this paper, we propose a local adaptive convolution (LAConv), which is dynamically adjusted to different spatial locations. LAConv enables the network to pay attention to every specific local area in the learning process. Besides, the dynamic bias (DYB) is introduced to provide more possibilities for the depiction of features and make the network more flexible. We further design a residual structure network equipped with the proposed LAConv and DYB modules, and apply it to two image fusion tasks. Experiments for pansharpening and hyperspectral image super-resolution (HISR) demonstrate the superiority of our method over other state-of-the-art methods. It is worth mentioning that LAConv can also be competent for other super-resolution tasks with less computation effort.