ビデオコーディングでは、出力用にフレームを保存する前に、再構築されたビデオフレームにループ内フィルタを適用して、知覚品質を向上させます。従来のインループフィルターは、手作りの方法で得られます。最近、注意メカニズムを利用する畳み込みニューラルネットワークに基づく学習済みフィルターは、従来の手法を改善することが示されています。ただし、これらのソリューションは通常、計算コストが大幅に高く、実際のアプリケーションの可能性が制限されます。提案された方法は、学習されたループ内フィルターの複雑さを軽減するために、スパース性と構造化された剪定の新しい組み合わせを使用します。これは、マグニチュードに基づく重みの剪定、重要でないニューロンの識別と除去、および微調整の3段階のトレーニングプロセスを通じて行われます。初期テストを通じて、ネットワークパフォーマンスへの影響を最小限に抑えながら、ネットワークパラメータを大幅に削減できることがわかりました。
In video coding, in-loop filters are applied on reconstructed video frames to enhance their perceptual quality, before storing the frames for output. Conventional in-loop filters are obtained by hand-crafted methods. Recently, learned filters based on convolutional neural networks that utilize attention mechanisms have been shown to improve upon traditional techniques. However, these solutions are typically significantly more computationally expensive, limiting their potential for practical applications. The proposed method uses a novel combination of sparsity and structured pruning for complexity reduction of learned in-loop filters. This is done through a three-step training process of magnitude-guidedweight pruning, insignificant neuron identification and removal, and fine-tuning. Through initial tests we find that network parameters can be significantly reduced with a minimal impact on network performance.