ビデオ超解像 (VSR) モデルの高い計算コストは、リソースが限られたデバイス (スマートフォンやドローンなど) への展開を妨げます。既存の VSR モデルにはかなりの冗長フィルターが含まれているため、推論効率が低下します。これらの重要でないフィルターを削除するために、VSR のプロパティに従って、Structured Sparsity Learning (SSL) と呼ばれる構造化された削除スキームを開発します。 SSL では、残差ブロック、リカレント ネットワーク、アップサンプリング ネットワークなど、VSR モデルのいくつかの主要コンポーネントのプルーニング スキームを設計します。具体的には、再帰型ネットワークの残余ブロックの残余スパーシティ接続 (RSC) スキームを開発して、プルーニングの制限を解放し、復元情報を保存します。アップサンプリング ネットワークでは、特徴チャネル空間変換の精度を保証するピクセル シャッフル プルーニング スキームを設計します。さらに、隠れた状態が再帰型ネットワークとともに伝播するにつれて、剪定エラーが増幅されることがわかります。この問題を軽減するために、Temporal Finetuning (TF) を設計します。広範な実験により、SSL は最近の方法よりも量的および質的に大幅に優れていることが示されています。コードとモデルを公開します。
The high computational costs of video super-resolution (VSR) models hinder their deployment on resource-limited devices, (e.g., smartphones and drones). Existing VSR models contain considerable redundant filters, which drag down the inference efficiency. To prune these unimportant filters, we develop a structured pruning scheme called Structured Sparsity Learning (SSL) according to the properties of VSR. In SSL, we design pruning schemes for several key components in VSR models, including residual blocks, recurrent networks, and upsampling networks. Specifically, we develop a Residual Sparsity Connection (RSC) scheme for residual blocks of recurrent networks to liberate pruning restrictions and preserve the restoration information. For upsampling networks, we design a pixel-shuffle pruning scheme to guarantee the accuracy of feature channel-space conversion. In addition, we observe that pruning error would be amplified as the hidden states propagate along with recurrent networks. To alleviate the issue, we design Temporal Finetuning (TF). Extensive experiments show that SSL can significantly outperform recent methods quantitatively and qualitatively. We will release codes and models.