arXiv reaDer
未知の露出時間での共同ビデオ マルチフレーム補間とブレ除去
Joint Video Multi-Frame Interpolation and Deblurring under Unknown Exposure Time
消費者向けカメラで撮影された自然なビデオは、ダイナミックなシーンの複雑さ、レンズとセンサーの不完全さ、および理想的でない露出設定の組み合わせにより、低フレームレートとモーション ブラーに悩まされることがよくあります。その結果、露出時間が既知で固定されているという非現実的な仮定で、ビデオ フレームの補間とブレ除去を共同で実行する計算方法が出現し始めています。この作業では、より現実的でやりがいのあるタスクを野心的に目指しています - ジョイントビデオマルチフレーム補間と未知の露光時間の下でのブレ除去。この目標に向けて、最初に教師あり対照学習のバリアントを採用して、入力されたぼやけたフレームから露出を意識した表現を構築します。次に、2 つの U-Net をモーション内分析とモーション間分析用にそれぞれトレーニングし、ゲイン チューニングを介して学習した露出表現に適応させます。最後に、プログレッシブ露出適応畳み込みと動きの改良により、露出と動きの表現に基づいてビデオ再構成ネットワークを構築します。シミュレートされたデータセットと実世界のデータセットの両方での広範な実験により、最適化された方法が、共同ビデオ x8 補間とブレ除去タスクで最先端のパフォーマンスを大幅に向上させることが示されています。さらに、一見信じがたい x16 補間タスクで、私たちの方法は PSNR に関して既存の方法よりも 1.5 dB 以上優れています。
Natural videos captured by consumer cameras often suffer from low framerate and motion blur due to the combination of dynamic scene complexity, lens and sensor imperfection, and less than ideal exposure setting. As a result, computational methods that jointly perform video frame interpolation and deblurring begin to emerge with the unrealistic assumption that the exposure time is known and fixed. In this work, we aim ambitiously for a more realistic and challenging task - joint video multi-frame interpolation and deblurring under unknown exposure time. Toward this goal, we first adopt a variant of supervised contrastive learning to construct an exposure-aware representation from input blurred frames. We then train two U-Nets for intra-motion and inter-motion analysis, respectively, adapting to the learned exposure representation via gain tuning. We finally build our video reconstruction network upon the exposure and motion representation by progressive exposure-adaptive convolution and motion refinement. Extensive experiments on both simulated and real-world datasets show that our optimized method achieves notable performance gains over the state-of-the-art on the joint video x8 interpolation and deblurring task. Moreover, on the seemingly implausible x16 interpolation task, our method outperforms existing methods by more than 1.5 dB in terms of PSNR.
updated: Mon Mar 27 2023 09:43:42 GMT+0000 (UTC)
published: Mon Mar 27 2023 09:43:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト