既存のオプティカルフロー方法は、明るさや勾配の一定性などの基本的なオプティカルフローの仮定が破られているため、霧、雨、夜などの困難なシーンでは誤りです。この問題に対処するために、ジャイロスコープをオプティカルフロー学習に融合する教師なし学習アプローチを紹介します。具体的には、最初にジャイロスコープの読み取り値をジャイロフィールドという名前のモーションフィールドに変換します。次に、ジャイロフィールドから抽出されたバックグラウンドモーションをオプティカルフローと融合し、ネットワークをガイドしてモーションの詳細に焦点を合わせるセルフガイドフュージョンモジュールを設計します。私たちの知る限り、これは、オプティカルフロー学習のためにジャイロスコープデータと画像コンテンツを融合する最初のディープラーニングベースのフレームワークです。私たちの方法を検証するために、私たちは通常の挑戦的なシーンをカバーする新しいデータセットを提案します。実験は、私たちの方法が通常のシーンと挑戦的なシーンの両方で最先端の方法よりも優れていることを示しています。
Existing optical flow methods are erroneous in challenging scenes, such as fog, rain, and night because the basic optical flow assumptions such as brightness and gradient constancy are broken. To address this problem, we present an unsupervised learning approach that fuses gyroscope into optical flow learning. Specifically, we first convert gyroscope readings into motion fields named gyro field. Then, we design a self-guided fusion module to fuse the background motion extracted from the gyro field with the optical flow and guide the network to focus on motion details. To the best of our knowledge, this is the first deep learning-based framework that fuses gyroscope data and image content for optical flow learning. To validate our method, we propose a new dataset that covers regular and challenging scenes. Experiments show that our method outperforms the state-of-art methods in both regular and challenging scenes.