最近の機械学習アプローチの多様性により、次世代のビデオ圧縮ソリューションの改善に理想的です。残念ながら、これらのアプローチは通常、計算の複雑さを大幅に増加させ、説明可能なモデルに解釈することが困難であり、実際のビデオコーディングアプリケーション内での実装の可能性に影響を与えます。この論文では、分数精度の動き補償に必要な参照サンプルの補間を改善するために、新しい説明可能なニューラルネットワークベースの相互予測スキームを紹介します。このアプローチでは、単一のニューラルネットワークをトレーニングし、そこから完全な1/4ピクセル補間フィルターセットを導出する必要があります。これは、ネットワークが線形構造であるため、ネットワークを簡単に解釈できるためです。新しいトレーニングフレームワークにより、各ネットワークブランチを特定のフラクショナルシフトに似せることができます。この実用的なソリューションにより、従来のビデオコーディングスキームと一緒に使用することが非常に効率的になります。最先端のVersatileVideo Coding(VVC)テストモデルのコンテキストで実装すると、ランダムアクセス下の低解像度シーケンスで平均0.77%、1.27%、2.25%のBDレートの節約を達成できます。 -遅延Bおよび低遅延P構成、それぞれ、学習された補間スキームの複雑さは、完全なCNNを使用した補間と比較して大幅に削減されます。
The versatility of recent machine learning approaches makes them ideal for improvement of next generation video compression solutions. Unfortunately, these approaches typically bring significant increases in computational complexity and are difficult to interpret into explainable models, affecting their potential for implementation within practical video coding applications. This paper introduces a novel explainable neural network-based inter-prediction scheme, to improve the interpolation of reference samples needed for fractional precision motion compensation. The approach requires a single neural network to be trained from which a full quarter-pixel interpolation filter set is derived, as the network is easily interpretable due to its linear structure. A novel training framework enables each network branch to resemble a specific fractional shift. This practical solution makes it very efficient to use alongside conventional video coding schemes. When implemented in the context of the state-of-the-art Versatile Video Coding (VVC) test model, 0.77%, 1.27% and 2.25% BD-rate savings can be achieved on average for lower resolution sequences under the random access, low-delay B and low-delay P configurations, respectively, while the complexity of the learned interpolation schemes is significantly reduced compared to the interpolation with full CNNs.