機械学習技術を使用してモーションから構造(SfM)の問題を研究することへの関心が高まっています。以前の方法は画像から深度マップおよびカメラポーズへのマッピングを直接学習しますが、最近の作業では、学習フレームワークに組み込まれた最適化を通じてマルチビュージオメトリの制約を適用します。この論文は、SfMにおけるニューラルネットワークの可能性をさらに活用するためのリカレントニューラルネットワークに基づく新しい最適化手法を提示します。具体的には、ニューラルオプティマイザーは、反復を通じて深度とカメラポーズを交互に更新して、特徴メトリックコストを最小限に抑え、2つのゲート付き回帰ユニットは、履歴情報をトレースすることによって結果を繰り返し改善します。このように、私たちのネットワークは、SfM用に設計された勾配のないゼロ次オプティマイザーであり、教師ありSfMと自己教師ありSfMの両方に適用できます。広範な実験結果は、私たちの方法が以前の方法よりも優れており、コストボリュームベースの方法よりも計算とメモリ消費の効率が高いことを示しています。特に、私たちの自己教師ありメソッドは、KITTIおよびScanNetデータセットで以前の教師ありメソッドよりも優れています。ソースコードはhttps://github.com/aliyun/dro-sfmで入手できます。
There are increasing interests of studying the structure-from-motion (SfM) problem with machine learning techniques. While earlier methods directly learn a mapping from images to depth maps and camera poses, more recent works enforce multi-view geometry constraints through optimization embedded in the learning framework. This paper presents a novel optimization method based on recurrent neural networks to further exploit the potential of neural networks in SfM. Specifically, our neural optimizer alternately updates the depth and camera poses through iterations to minimize a feature-metric cost, and two gated recurrent units iteratively improve the results by tracing historical information. In this way, our network is a gradient-free zeroth-order optimizer designed for SfM and can be applied to both supervised and self-supervised SfM. Extensive experimental results demonstrate that our method outperforms previous methods and is more efficient in computation and memory consumption than cost-volume-based methods. In particular, our self-supervised method outperforms previous supervised methods on the KITTI and ScanNet datasets. Our source code is available at https://github.com/aliyun/dro-sfm.