大幅に劣化した古い映画を復元するために、学習ベースのフレームワークであるリカレントトランスフォーマーネットワーク(RTN)を紹介します。フレームごとの復元を実行する代わりに、私たちの方法は、オクルージョンに関する豊富な情報を含む隣接するフレームから学習した隠された知識に基づいています。これは、時間的一貫性を確保しながら、各フレームの挑戦的なアーティファクトを復元するのに役立ちます。さらに、現在のフレームの表現と隠された知識を対比することで、教師なしの方法でスクラッチ位置を推測することが可能になり、そのような欠陥の位置特定は実際の劣化によく一般化されます。混合劣化をより適切に解決し、フレームアライメント中のフロー推定エラーを補正するために、空間復元のためにより表現力豊かな変圧器ブロックを活用することを提案します。合成データセットと実際の古いフィルムの両方での実験は、既存のソリューションに対する提案されたRTNの重要な優位性を示しています。さらに、同じフレームワークでキーフレームからビデオ全体に色を効果的に伝播し、最終的に魅力的な復元フィルムを作成できます。実装とモデルはhttps://github.com/raywzy/Bringing-Old-Films-Back-to-Lifeでリリースされます。
We present a learning-based framework, recurrent transformer network (RTN), to restore heavily degraded old films. Instead of performing frame-wise restoration, our method is based on the hidden knowledge learned from adjacent frames that contain abundant information about the occlusion, which is beneficial to restore challenging artifacts of each frame while ensuring temporal coherency. Moreover, contrasting the representation of the current frame and the hidden knowledge makes it possible to infer the scratch position in an unsupervised manner, and such defect localization generalizes well to real-world degradations. To better resolve mixed degradation and compensate for the flow estimation error during frame alignment, we propose to leverage more expressive transformer blocks for spatial restoration. Experiments on both synthetic dataset and real-world old films demonstrate the significant superiority of the proposed RTN over existing solutions. In addition, the same framework can effectively propagate the color from keyframes to the whole video, ultimately yielding compelling restored films. The implementation and model will be released at https://github.com/raywzy/Bringing-Old-Films-Back-to-Life.