arXiv reaDer
デュアル露出センサーでキャプチャされた高ダイナミックレンジシーケンスのビデオフレーム補間
Video frame interpolation for high dynamic range sequences captured with dual-exposure sensors
ビデオフレーム補間(VFI)は、スローモーション再生などの時間ドメイン、またはストップモーションシーケンスなどの空間ドメインを含む可能性のある多くの重要なアプリケーションを可能にします。私たちは前者のタスクに焦点を当てています。ここでの重要な課題の1つは、複雑なモーションが存在する場合のハイダイナミックレンジ(HDR)シーンの処理です。この目的のために、空間的に登録され、端が時間的に位置合わせされた、シャープで短くぼやけた長時間露光を容易に提供するデュアル露光センサーの可能な利点を探ります。このように、モーションブラーは、シーンモーションに関する時間的に連続した情報を登録し、シャープなリファレンスと組み合わせることで、単一のカメラショット内でより正確なモーションサンプリングを可能にします。これにより、VFIタスクでのより複雑なモーション再構成、およびこれまで補間されたフレーム間ではなく、最初にキャプチャされたフレームに対してのみ考慮されてきたHDRフレーム再構成が容易になることを示します。これらのタスクでトレーニングされたニューラルネットワークを設計し、既存のソリューションを明らかに上回ります。また、テスト時のVFIメソッドのパフォーマンスに関する重要な洞察を提供するシーンモーションの複雑さのメトリックを提案します。
Video frame interpolation (VFI) enables many important applications that might involve the temporal domain, such as slow motion playback, or the spatial domain, such as stop motion sequences. We are focusing on the former task, where one of the key challenges is handling high dynamic range (HDR) scenes in the presence of complex motion. To this end, we explore possible advantages of dual-exposure sensors that readily provide sharp short and blurry long exposures that are spatially registered and whose ends are temporally aligned. This way, motion blur registers temporally continuous information on the scene motion that, combined with the sharp reference, enables more precise motion sampling within a single camera shot. We demonstrate that this facilitates a more complex motion reconstruction in the VFI task, as well as HDR frame reconstruction that so far has been considered only for the originally captured frames, not in-between interpolated frames. We design a neural network trained in these tasks that clearly outperforms existing solutions. We also propose a metric for scene motion complexity that provides important insights into the performance of VFI methods at the test time.
updated: Sun Jun 19 2022 20:29:34 GMT+0000 (UTC)
published: Sun Jun 19 2022 20:29:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト