畳み込みニューラルネットワーク(CNN)に基づく最新の単一画像超解像(SISR)システムは、膨大な計算コストを必要としつつ、優れたパフォーマンスを実現します。機能の冗長性に関する問題は、視覚認識タスクで十分に研究されていますが、SISRではめったに議論されていません。 SISRモデルの多くの機能も互いに類似しているという観察に基づいて、シフト操作を使用して冗長機能(つまり、ゴースト機能)を生成することを提案します。 GPUやNPUに適さない深さ方向の畳み込みと比較して、シフト操作は、一般的なハードウェア上のCNNに実用的な推論加速をもたらすことができます。 SISRのシフト操作の利点を分析し、ガンベル-ソフトマックストリックに基づいてシフト方向を学習可能にします。事前にトレーニングされた特定のモデルについて、最初に各畳み込み層のすべてのフィルターをクラスター化して、固有の特徴を生成するための固有のフィルターを識別します。ゴースト機能は、これらの固有の機能を特定の方向に沿って移動することによって派生します。完全な出力機能は、組み込み機能とゴースト機能を連結することによって構築されます。いくつかのベンチマークモデルとデータセットでの広範な実験は、提案されたモジュールに組み込まれた非コンパクトと軽量の両方のSISRモデルが、パラメーター、FLOP、GPUレイテンシーを大幅に削減してベースラインと同等のパフォーマンスを達成できることを示しています。たとえば、パフォーマンスを大幅に低下させることなく、EDSR x2ネットワークのパラメーターを47%、FLOPを46%、GPUレイテンシーを41%削減します。
Modern single image super-resolution (SISR) system based on convolutional neural networks (CNNs) achieves fancy performance while requires huge computational costs. The problem on feature redundancy is well studied in visual recognition task, but rarely discussed in SISR. Based on the observation that many features in SISR models are also similar to each other, we propose to use shift operation to generate the redundant features (i.e., Ghost features). Compared with depth-wise convolution which is not friendly to GPUs or NPUs, shift operation can bring practical inference acceleration for CNNs on common hardware. We analyze the benefits of shift operation for SISR and make the shift orientation learnable based on Gumbel-Softmax trick. For a given pre-trained model, we first cluster all filters in each convolutional layer to identify the intrinsic ones for generating intrinsic features. Ghost features will be derived by moving these intrinsic features along a specific orientation. The complete output features are constructed by concatenating the intrinsic and ghost features together. Extensive experiments on several benchmark models and datasets demonstrate that both the non-compact and lightweight SISR models embedded in our proposed module can achieve comparable performance to that of their baselines with large reduction of parameters, FLOPs and GPU latency. For instance, we reduce the parameters by 47%, FLOPs by 46% and GPU latency by 41% of EDSR x2 network without significant performance degradation.