深層学習ベースの方法、特に畳み込みニューラルネットワーク(CNN)は、単一画像超解像(SISR)の分野でうまく適用されています。より良い忠実度と視覚的品質を得るために、既存のネットワークのほとんどは、大規模な計算を伴う重い設計になっています。ただし、最新のモバイルデバイスの計算リソースは限られており、高価なコストを簡単にサポートすることはできません。この目的のために、この論文では、離散コサイン変換(DCT)ドメインの係数に従って、入力を複数の部分に分割するための新しい周波数認識動的ネットワークについて説明します。実際には、高周波数部分は高価な操作を使用して処理され、低周波数部分は計算の負担を軽減するために安価な操作が割り当てられます。ピクセルまたは画像パッチは低周波数領域に属しているため、テクスチャの詳細は比較的少ないため、この動的ネットワークは、結果として得られる超解像画像の品質に影響を与えません。さらに、提案された動的ネットワークに予測子を埋め込み、手作りの周波数認識マスクをエンドツーエンドで微調整します。ベンチマークSISRモデルとデータセットで実施された広範な実験は、周波数を意識した動的ネットワークをさまざまなSISRニューラルアーキテクチャに使用して、視覚的品質と計算の複雑さの間のより良いトレードオフを得ることができることを示しています。たとえば、最先端のSISRパフォーマンスを維持しながら、EDSRモデルのFLOPを約50%削減できます。
Deep learning based methods, especially convolutional neural networks (CNNs) have been successfully applied in the field of single image super-resolution (SISR). To obtain better fidelity and visual quality, most of existing networks are of heavy design with massive computation. However, the computation resources of modern mobile devices are limited, which cannot easily support the expensive cost. To this end, this paper explores a novel frequency-aware dynamic network for dividing the input into multiple parts according to its coefficients in the discrete cosine transform (DCT) domain. In practice, the high-frequency part will be processed using expensive operations and the lower-frequency part is assigned with cheap operations to relieve the computation burden. Since pixels or image patches belong to low-frequency areas contain relatively few textural details, this dynamic network will not affect the quality of resulting super-resolution images. In addition, we embed predictors into the proposed dynamic network to end-to-end fine-tune the handcrafted frequency-aware masks. Extensive experiments conducted on benchmark SISR models and datasets show that the frequency-aware dynamic network can be employed for various SISR neural architectures to obtain the better tradeoff between visual quality and computational complexity. For instance, we can reduce the FLOPs of EDSR model by approximate 50% while preserving state-of-the-art SISR performance.