arXiv reaDer
ブラインドモーションブレ除去超解像:動的時空間学習が静的画像理解と出会うとき
Blind Motion Deblurring Super-Resolution: When Dynamic Spatio-Temporal Learning Meets Static Image Understanding
シングル画像超解像(SR)とマルチフレームSRは、低解像度画像を超解像する2つの方法です。シングルイメージSRは通常、各イメージを個別に処理しますが、継続フレームに含まれる時間情報を無視します。マルチフレームSRは、モーション情報をキャプチャすることで時間依存性をモデル化できます。ただし、現実の世界で常に利用できるとは限らない隣接するフレームに依存しています。一方、わずかな手ブレは、長距離撮影の低解像度画像で大きなモーションブラーを引き起こしやすくなります。これらの問題に対処するために、ブラインドモーションブラー除去超解像度ネットワーク、BMDSRNetが提案され、単一の静的モーションブラー画像から動的な時空間情報を学習します。モーションブラー画像は、カメラの露出中の時間の経過に伴う蓄積ですが、提案されたBMDSRNetは、逆のプロセスを学習し、3つのストリームを使用して、適切に設計された再構成損失関数に基づいて双方向の時空間情報を学習し、クリーンな高解像度画像を復元します。広範な実験は、提案されたBMDSRNetが最近の最先端の方法よりも優れており、画像のぼけ除去とSRを同時に処理する能力を持っていることを示しています。
Single-image super-resolution (SR) and multi-frame SR are two ways to super resolve low-resolution images. Single-Image SR generally handles each image independently, but ignores the temporal information implied in continuing frames. Multi-frame SR is able to model the temporal dependency via capturing motion information. However, it relies on neighbouring frames which are not always available in the real world. Meanwhile, slight camera shake easily causes heavy motion blur on long-distance-shot low-resolution images. To address these problems, a Blind Motion Deblurring Super-Reslution Networks, BMDSRNet, is proposed to learn dynamic spatio-temporal information from single static motion-blurred images. Motion-blurred images are the accumulation over time during the exposure of cameras, while the proposed BMDSRNet learns the reverse process and uses three-streams to learn Bidirectional spatio-temporal information based on well designed reconstruction loss functions to recover clean high-resolution images. Extensive experiments demonstrate that the proposed BMDSRNet outperforms recent state-of-the-art methods, and has the ability to simultaneously deal with image deblurring and SR.
updated: Tue Oct 19 2021 02:38:35 GMT+0000 (UTC)
published: Thu May 27 2021 11:52:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト