ネットワークパラメータを特定の入力画像に適合させることができる最近の単一画像超解像(SISR)ネットワークは、入力データおよび大規模な外部データセット内で利用可能な情報を活用することにより、有望な結果を示しています。ただし、ビデオ処理へのこれらの自己監視ありSISRアプローチの拡張はまだ研究されていません。したがって、従来のビデオ超解像(VSR)ネットワークが、グラウンドトゥルースデータセットを使用せずにビデオフレームをテストするためにパラメータを適応させることを可能にする新しい学習アルゴリズムを提示します。空間と時間にわたって多くの自己相似パッチを利用することにより、完全に事前トレーニングされたVSRネットワークのパフォーマンスを向上させ、時間的に一貫したビデオフレームを生成します。さらに、より少ないハードウェアリソースで適応速度を加速するテスト時の知識蒸留技術を紹介します。私たちの実験では、新しい学習アルゴリズムが最先端のVSRネットワークを微調整し、多数のベンチマークデータセットのパフォーマンスを大幅に向上させることができることを示しています。
Recent single-image super-resolution (SISR) networks, which can adapt their network parameters to specific input images, have shown promising results by exploiting the information available within the input data as well as large external datasets. However, the extension of these self-supervised SISR approaches to video handling has yet to be studied. Thus, we present a new learning algorithm that allows conventional video super-resolution (VSR) networks to adapt their parameters to test video frames without using the ground-truth datasets. By utilizing many self-similar patches across space and time, we improve the performance of fully pre-trained VSR networks and produce temporally consistent video frames. Moreover, we present a test-time knowledge distillation technique that accelerates the adaptation speed with less hardware resources. In our experiments, we demonstrate that our novel learning algorithm can fine-tune state-of-the-art VSR networks and substantially elevate performance on numerous benchmark datasets.