arXiv reaDer
デジタルジンバル:学習可能な露光時間によるエンドツーエンドのディープ画像安定化
Digital Gimbal: End-to-end Deep Image Stabilization with Learnable Exposure Times
作動ジンバルを使用した機械的な画像安定化により、カメラの動きによるブレに悩まされることなく、長時間露光ショットをキャプチャできます。ただし、これらのデバイスは、多くの場合、物理的に扱いにくく高価であるため、広く使用することはできません。この作業では、高速で安定化されていないカメラの入力から、機械的に安定化されたシステムをデジタルエミュレートすることを提案します。長時間露光でのモーションブラーと短時間露光での低SNRの間のトレードオフを活用するために、未知のモーションに関連するノイズの多い短時間露光フレームのバーストを集約することにより、シャープな高SNR画像を推定するCNNをトレーニングします。さらに、バーストの露光時間をエンドツーエンドで学習し、フレーム全体でノイズとブラーのバランスをとることをお勧めします。単一の画像のぼけを除去したり、合成データと実際のデータの両方で固定露出バーストのノイズを除去したりする従来のアプローチに対するこの方法の利点を示します。
Mechanical image stabilization using actuated gimbals enables capturing long-exposure shots without suffering from blur due to camera motion. These devices, however, are often physically cumbersome and expensive, limiting their widespread use. In this work, we propose to digitally emulate a mechanically stabilized system from the input of a fast unstabilized camera. To exploit the trade-off between motion blur at long exposures and low SNR at short exposures, we train a CNN that estimates a sharp high-SNR image by aggregating a burst of noisy short-exposure frames, related by unknown motion. We further suggest learning the burst's exposure times in an end-to-end manner, thus balancing the noise and blur across the frames. We demonstrate this method's advantage over the traditional approach of deblurring a single image or denoising a fixed-exposure burst on both synthetic and real data.
updated: Mon May 10 2021 12:31:23 GMT+0000 (UTC)
published: Tue Dec 08 2020 16:04:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト