誰もがプロの写真スキルと十分な撮影時間を備えているわけではないため、撮影した画像に傾きが発生する場合があります。この論文では、回転角度が未知の条件下でコンテンツ忠実度の高い傾きを自動的に補正する、回転補正と呼ばれる新しい実用的なタスクを提案します。このタスクは画像編集アプリケーションに簡単に統合できるため、ユーザーは手動操作を行わずに回転した画像を修正できます。この目的を達成するために、ニューラル ネットワークを活用して、傾斜した画像を知覚的に水平になるように歪めるオプティカル フローを予測します。それにもかかわらず、単一画像からのピクセル単位のオプティカル フロー推定は、特に大きな角度で傾斜した画像では非常に不安定です。その堅牢性を強化するために、堅牢な弾性反りを形成するためのシンプルだが効果的な予測戦略を提案します。特に、最初に、堅牢な初期オプティカル フローに変換できるメッシュ変形を回帰します。次に、残留オプティカル フローを推定して、ネットワークのピクセル単位の変形の柔軟性を促進し、傾いた画像の詳細をさらに修正します。評価ベンチマークを確立し、学習フレームワークをトレーニングするために、さまざまなシーンと回転角度を備えた包括的な回転補正データセットが提示されます。広範な実験により、事前角度が存在しない場合でも、私たちのアルゴリズムが事前角度を必要とする他の最先端のソリューションよりも優れたパフォーマンスを発揮できることが実証されました。コードとデータセットは https://github.com/nie-lang/RotationCorrection で入手できます。
Not everybody can be equipped with professional photography skills and sufficient shooting time, and there can be some tilts in the captured images occasionally. In this paper, we propose a new and practical task, named Rotation Correction, to automatically correct the tilt with high content fidelity in the condition that the rotated angle is unknown. This task can be easily integrated into image editing applications, allowing users to correct the rotated images without any manual operations. To this end, we leverage a neural network to predict the optical flows that can warp the tilted images to be perceptually horizontal. Nevertheless, the pixel-wise optical flow estimation from a single image is severely unstable, especially in large-angle tilted images. To enhance its robustness, we propose a simple but effective prediction strategy to form a robust elastic warp. Particularly, we first regress the mesh deformation that can be transformed into robust initial optical flows. Then we estimate residual optical flows to facilitate our network the flexibility of pixel-wise deformation, further correcting the details of the tilted images. To establish an evaluation benchmark and train the learning framework, a comprehensive rotation correction dataset is presented with a large diversity in scenes and rotated angles. Extensive experiments demonstrate that even in the absence of the angle prior, our algorithm can outperform other state-of-the-art solutions requiring this prior. The code and dataset are available at https://github.com/nie-lang/RotationCorrection.