最新の民生用カメラの大部分はローリングシャッターメカニズムを採用しており、画像取得中にカメラが動くと画像の歪みが発生します。この論文では、2つの連続するフレームで一般的なローリングシャッター補正問題を解決するための新しいディープネットワークを提示します。私たちのパイプラインは、これら2つのフレームの中間時間に対応するグローバルシャッター画像を予測するように対称的に設計されています。これは、2つのフレームと最も異なるカメラポーズに対応するため、既存の方法では困難です。最初に、2つの時間対称の密な歪みのない流れが、確立された原理を使用して推定されます。ピラミッド構造、ワーピング、およびコストボリューム処理です。次に、両方のローリングシャッター画像が、それぞれフィーチャスペース内の共通のグローバルシャッター画像にワープされます。最後に、対称整合性制約が画像デコーダーで構築され、2つのローリングシャッター画像のコンテキストキューを効果的に集約し、それによって高品質のグローバルシャッター画像を復元します。公開ベンチマークからの合成データと実際のデータの両方を使用した広範な実験は、最先端の方法に対する提案されたアプローチの優位性を示しています。
The vast majority of modern consumer-grade cameras employ a rolling shutter mechanism, leading to image distortions if the camera moves during image acquisition. In this paper, we present a novel deep network to solve the generic rolling shutter correction problem with two consecutive frames. Our pipeline is symmetrically designed to predict the global shutter image corresponding to the intermediate time of these two frames, which is difficult for existing methods because it corresponds to a camera pose that differs most from the two frames. First, two time-symmetric dense undistortion flows are estimated by using well-established principles: pyramidal construction, warping, and cost volume processing. Then, both rolling shutter images are warped into a common global shutter one in the feature space, respectively. Finally, a symmetric consistency constraint is constructed in the image decoder to effectively aggregate the contextual cues of two rolling shutter images, thereby recovering the high-quality global shutter image. Extensive experiments with both synthetic and real data from public benchmarks demonstrate the superiority of our proposed approach over the state-of-the-art methods.