arXiv reaDer
学習したダイナミック フェーズ コーディングを使用した単一モーション ブラー画像からのビデオ再構成
Video Reconstruction from a Single Motion Blurred Image using Learned Dynamic Phase Coding
単一のモーション ブラー画像からのビデオ再構成は、既存のカメラの機能を強化できる挑戦的な問題です。最近、いくつかの研究が、従来のイメージングとディープラーニングを使用してこのタスクに取り組んでいます。しかし、このような純粋なデジタル方式は、方向が曖昧でノイズに敏感であるため、本質的に制限があります。従来とは異なるイメージセンサーを使用してこれらの制限に対処することを提案した研究もありますが、そのようなセンサーは非常にまれで高価です。より簡単な手段でこれらの制限を回避するために、既存の光学システムに簡単な変更のみを必要とするビデオ再構成のためのハイブリッド光デジタル方法を提案します。画像取得中にレンズ開口部で学習した動的位相コーディングを使用して、ビデオ再構成プロセスの事前情報として機能するモーション軌跡をエンコードします。提案された計算カメラは、画像からビデオへの畳み込みニューラル ネットワークを使用して、単一のコード化されたモーション ブラー画像からさまざまなフレーム レートでシーンのシャープなフレーム バーストを生成します。シミュレーションと実際のカメラのプロトタイプの両方を使用して、既存の方法と比較して利点と改善されたパフォーマンスを示します。光学コーディングをビデオフレーム補間にも拡張し、ノイズの多いビデオに対して堅牢で改善された結果を提示します。
Video reconstruction from a single motion-blurred image is a challenging problem, which can enhance the capabilities of existing cameras. Recently, several works addressed this task using conventional imaging and deep learning. Yet, such purely-digital methods are inherently limited, due to direction ambiguity and noise sensitivity. Some works proposed to address these limitations using non-conventional image sensors, however, such sensors are extremely rare and expensive. To circumvent these limitations with simpler means, we propose a hybrid optical-digital method for video reconstruction that requires only simple modifications to existing optical systems. We use a learned dynamic phase-coding in the lens aperture during the image acquisition to encode the motion trajectories, which serve as prior information for the video reconstruction process. The proposed computational camera generates a sharp frame burst of the scene at various frame rates from a single coded motion-blurred image, using an image-to-video convolutional neural network. We present advantages and improved performance compared to existing methods, using both simulations and a real-world camera prototype. We extend our optical coding also to video frame interpolation and present robust and improved results for noisy videos.
updated: Sun Dec 18 2022 11:13:47 GMT+0000 (UTC)
published: Tue Dec 28 2021 02:06:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト