arXiv reaDer
DeepOIS: ジャイロスコープガイドによるディープ光学式手ぶれ補正補正
DeepOIS: Gyroscope-Guided Deep Optical Image Stabilizer Compensation
モバイルでキャプチャした画像は、ジャイロスコープ センサーを使用して位置合わせできます。光学式画像安定化装置 (OIS) は、キャプチャ中に画像を調整することでこの可能性を排除します。この研究では、OIS カメラでの画像の位置合わせにジャイロスコープを使用できるように、OIS によって引き起こされる動きを補償するディープ ネットワークを提案します。これを実現するために、まず、OIS カメラを使用してビデオとジャイロスコープの両方をトレーニング データとして記録します。次に、ジャイロスコープの読み取り値を運動フィールドに変換します。次に、ローリング シャッター カメラの基本混合運動モデルを提案します。このモデルでは、フレーム内の回転の配列がグラウンド トゥルース ガイダンスとして抽出されます。 3 番目に、ジャイロスコープの動きを入力として畳み込みニューラル ネットワークをトレーニングし、OIS の動きを補償します。完了すると、補正ネットワークは他のシーンに適用でき、画像の位置合わせは画像コンテンツを必要とせず純粋にジャイロスコープに基づいて行われ、強力な堅牢性を実現します。実験の結果、結果は非 OIS カメラの結果と同等であり、画像ベースの位置合わせ結果よりも比較的大きなマージンで優れていることがわかりました。コードとデータセットは https://github.com/lhaippp/DeepOIS で入手できます。
Mobile captured images can be aligned using their gyroscope sensors. Optical image stabilizer (OIS) terminates this possibility by adjusting the images during the capturing. In this work, we propose a deep network that compensates the motions caused by the OIS, such that the gyroscopes can be used for image alignment on the OIS cameras. To achieve this, first, we record both videos and gyroscopes with an OIS camera as training data. Then, we convert gyroscope readings into motion fields. Second, we propose a Fundamental Mixtures motion model for rolling shutter cameras, where an array of rotations within a frame are extracted as the ground-truth guidance. Third, we train a convolutional neural network with gyroscope motions as input to compensate for the OIS motion. Once finished, the compensation network can be applied for other scenes, where the image alignment is purely based on gyroscopes with no need for images contents, delivering strong robustness. Experiments show that our results are comparable with that of non-OIS cameras, and outperform image-based alignment results with a relatively large margin. Code and dataset are available at https://github.com/lhaippp/DeepOIS
updated: Tue Jul 04 2023 07:30:21 GMT+0000 (UTC)
published: Wed Jan 27 2021 03:23:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト