arXiv reaDer
教師なしリアルタイムビデオエンハンスメントのための効率的な反復敵対フレームワーク
An Efficient Recurrent Adversarial Framework for Unsupervised Real-Time Video Enhancement
ビデオエンハンスメントは、主に計算コストが高く、データ量が多く、時空間ドメインで一貫性を実現することが難しいため、静止画よりも難しい問題です。実際には、これらの課題は、教師あり学習戦略の適用を妨げる例のペアの欠如と結びついていることがよくあります。これらの課題に対処するために、ペアになっていないビデオの例から直接学習する効率的な敵対的なビデオエンハンスメントフレームワークを提案します。特に、私たちのフレームワークは、空間情報と時間情報を暗黙的に統合するために、インターリーブされたローカルモジュールとグローバルモジュールで構成される新しい反復セルを導入します。提案された設計により、繰り返しセルがフレーム間で時空間情報を効率的に伝播できるようになり、複雑度の高いネットワークの必要性が減少します。私たちの設定は、提案された反復ユニットがすべてのアーキテクチャで採用されている、周期的な敵対的な方法でペアになっていないビデオから学習することを可能にします。効率的なトレーニングは、ソースドメインとターゲットドメインの同時分布を同時に学習する単一の弁別器を導入することによって達成されます。エンハンサーの結果は、視覚的品質、定量的メトリック、および推論速度のすべての点で、最先端の方法に対する提案されたビデオエンハンサーの明らかな優位性を示しています。特に、当社のビデオエンハンサーは、毎秒35フレームを超えるFullHDビデオ(1080x1920)をエンハンサーすることができます。
Video enhancement is a challenging problem, more than that of stills, mainly due to high computational cost, larger data volumes and the difficulty of achieving consistency in the spatio-temporal domain. In practice, these challenges are often coupled with the lack of example pairs, which inhibits the application of supervised learning strategies. To address these challenges, we propose an efficient adversarial video enhancement framework that learns directly from unpaired video examples. In particular, our framework introduces new recurrent cells that consist of interleaved local and global modules for implicit integration of spatial and temporal information. The proposed design allows our recurrent cells to efficiently propagate spatio-temporal information across frames and reduces the need for high complexity networks. Our setting enables learning from unpaired videos in a cyclic adversarial manner, where the proposed recurrent units are employed in all architectures. Efficient training is accomplished by introducing one single discriminator that learns the joint distribution of source and target domain simultaneously. The enhancement results demonstrate clear superiority of the proposed video enhancer over the state-of-the-art methods, in all terms of visual quality, quantitative metrics, and inference speed. Notably, our video enhancer is capable of enhancing over 35 frames per second of FullHD video (1080x1920).
updated: Thu Dec 24 2020 00:03:29 GMT+0000 (UTC)
published: Thu Dec 24 2020 00:03:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト