このホワイトペーパーでは、構造的な再パラメータ化手法を使用して、効率的なVGGスタイルの超解像(SR)ネットワークをトレーニングする方法について説明します。再パラメータ化の一般的なパイプラインは、最初にマルチブランチトポロジでネットワークをトレーニングし、次にそれらを標準の3x3畳み込みにマージして効率的な推論を行うことです。この作業では、これらの主要な設計を再検討し、SRネットワークのパラメーターを再設定するために不可欠なコンポーネントを調査します。まず、トレーニングの非線形性をもたらし、最終的なパフォーマンスを向上させるには、バッチ正規化(BN)が重要であることがわかります。ただし、BNは通常、パフォーマンスを低下させ、不快なアーティファクトをもたらすため、SRでは通常無視されます。 BNの問題の原因を注意深く分析し、簡単で効果的な解決策を提案します。特に、最初に通常どおりミニバッチ統計を使用してSRネットワークをトレーニングし、その後のトレーニング期間で母集団統計の使用に切り替えます。 BNをSRに再導入することに成功しましたが、SR用に調整された新しい再パラメータ化可能なブロック、つまりRepSRをさらに設計します。これは、クリーンな残差パスと、変更されたBNを使用した2つの拡張およびスクイーズ畳み込みパスで構成されます。広範な実験により、当社の単純なRepSRは、さまざまなモデルサイズ間で以前のSR再パラメータ化手法よりも優れたパフォーマンスを達成できることが実証されています。さらに、RepSRは、以前のSR方式よりも、パフォーマンスと実際の実行時間(スループット)の間でより良いトレードオフを実現できます。コードはhttps://github.com/TencentARC/RepSRで入手できます。
This paper explores training efficient VGG-style super-resolution (SR) networks with the structural re-parameterization technique. The general pipeline of re-parameterization is to train networks with multi-branch topology first, and then merge them into standard 3x3 convolutions for efficient inference. In this work, we revisit those primary designs and investigate essential components for re-parameterizing SR networks. First of all, we find that batch normalization (BN) is important to bring training non-linearity and improve the final performance. However, BN is typically ignored in SR, as it usually degrades the performance and introduces unpleasant artifacts. We carefully analyze the cause of BN issue and then propose a straightforward yet effective solution. In particular, we first train SR networks with mini-batch statistics as usual, and then switch to using population statistics at the later training period. While we have successfully re-introduced BN into SR, we further design a new re-parameterizable block tailored for SR, namely RepSR. It consists of a clean residual path and two expand-and-squeeze convolution paths with the modified BN. Extensive experiments demonstrate that our simple RepSR is capable of achieving superior performance to previous SR re-parameterization methods among different model sizes. In addition, our RepSR can achieve a better trade-off between performance and actual running time (throughput) than previous SR methods. Codes will be available at https://github.com/TencentARC/RepSR.