ランタイムとメモリ消費は、リソースに制約のあるデバイスに展開される効率的な画像超解像(EISR)モデルの2つの重要な側面です。 EISRの最近の進歩は、限られた階層機能を最大限に活用するために、チャネル分割および連結操作を豊富に備えた蒸留および集約戦略を活用しています。対照的に、シーケンシャルネットワーク操作は、先行する状態や余分なノードに頻繁にアクセスすることを回避するため、メモリ消費と実行時のオーバーヘッドを削減するのに役立ちます。このアイデアに従って、主に複数の高度に最適化された畳み込み層とアクティベーション層をスタックし、機能融合の使用を減らすことによって、軽量ネットワークバックボーンを設計します。高周波の詳細を強化するために、すべてのピクセルにローカルおよびグローバルのコンテキストに応じて重要な要素が割り当てられる、新しいシーケンシャルアテンションブランチを提案します。さらに、EISRの残余ブロックを調整し、ネットワーク推論をさらに加速するために拡張残余ブロック(ERB)を提案します。最後に、上記のすべての手法を組み合わせて、高速でメモリ効率の高いネットワーク(FMEN)と、最新のEISRと比較して33%高速に実行され、74%のメモリ消費を削減する小型バージョンのFMEN-Sを構築します。モデル:E-RFDN、AIM2020効率的な超解像チャレンジのチャンピオン。さらに、FMEN-Sは、効率的な超解像に関するNTIRE 2022チャレンジで、最小のメモリ消費と2番目に短いランタイムを実現します。コードはhttps://github.com/NJU-Jet/FMENで入手できます。
Runtime and memory consumption are two important aspects for efficient image super-resolution (EISR) models to be deployed on resource-constrained devices. Recent advances in EISR exploit distillation and aggregation strategies with plenty of channel split and concatenation operations to make full use of limited hierarchical features. In contrast, sequential network operations avoid frequently accessing preceding states and extra nodes, and thus are beneficial to reducing the memory consumption and runtime overhead. Following this idea, we design our lightweight network backbone by mainly stacking multiple highly optimized convolution and activation layers and decreasing the usage of feature fusion. We propose a novel sequential attention branch, where every pixel is assigned an important factor according to local and global contexts, to enhance high-frequency details. In addition, we tailor the residual block for EISR and propose an enhanced residual block (ERB) to further accelerate the network inference. Finally, combining all the above techniques, we construct a fast and memory-efficient network (FMEN) and its small version FMEN-S, which runs 33% faster and reduces 74% memory consumption compared with the state-of-the-art EISR model: E-RFDN, the champion in AIM 2020 efficient super-resolution challenge. Besides, FMEN-S achieves the lowest memory consumption and the second shortest runtime in NTIRE 2022 challenge on efficient super-resolution. Code is available at https://github.com/NJU-Jet/FMEN.