多くのビデオ復元/変換タスクでは、ビデオ フレームの時間的なつながりを無視して、各フレームを独立して処理することで、画像処理操作がビデオ ドメインに単純に拡張されます。この時間的なつながりの無視は、多くの場合、深刻な時間的な不一致を引き起こします。これらの不一致に対処する最先端 (SOTA) 技術は、未処理のビデオの利用可能性に依存して、一貫したビデオ ダイナミクスを暗黙的に吸い上げて利用し、フレーム単位で処理されたビデオの時間的一貫性を復元しますが、これは多くの場合翻訳効果を危険にさらします。私たちは、テスト時に生のビデオを必要とせずに、時間的に隣接するフレームと比較的離れたフレームの両方の知覚品質を維持しながら、一貫性のないビデオから一貫した動きのダイナミクスを推測して利用することを学習して時間的なちらつきを軽減する、このタスクのための一般的なフレームワークを提案します。提案されたフレームワークは、多数の画像処理アプリケーションによって処理された 2 つのベンチマーク データセット (DAVIS と videvo.net) で SOTA 結果を生成します。コードとトレーニング済みモデルは https://github.com/MKashifAli/TARONVD で入手できます。
In many video restoration/translation tasks, image processing operations are naïvely extended to the video domain by processing each frame independently, disregarding the temporal connection of the video frames. This disregard for the temporal connection often leads to severe temporal inconsistencies. State-Of-The-Art (SOTA) techniques that address these inconsistencies rely on the availability of unprocessed videos to implicitly siphon and utilize consistent video dynamics to restore the temporal consistency of frame-wise processed videos which often jeopardizes the translation effect. We propose a general framework for this task that learns to infer and utilize consistent motion dynamics from inconsistent videos to mitigate the temporal flicker while preserving the perceptual quality for both the temporally neighboring and relatively distant frames without requiring the raw videos at test time. The proposed framework produces SOTA results on two benchmark datasets, DAVIS and videvo.net, processed by numerous image processing applications. The code and the trained models are available at https://github.com/MKashifAli/TARONVD.