機械学習技術を使用してモーションから構造(SfM)の問題を研究することへの関心が高まっています。以前の方法は、画像から深度マップおよびカメラポーズへのマッピングを直接学習しますが、最近の作業では、学習フレームワークに埋め込まれた最適化を通じてマルチビュージオメトリを適用します。この論文は、SfMにおけるニューラルネットワークの可能性をさらに活用するためのリカレントニューラルネットワークに基づく新しい最適化手法を提示します。代わりに、ニューラルオプティマイザーは、反復を通じて深度とカメラポーズを更新して、機能メトリックのコストを最小限に抑えます。 2つのゲート付き回帰ユニットは、反復中の履歴情報を追跡するように設計されています。私たちのネットワークはゼロ次オプティマイザーとして機能し、計算とメモリのコストのかかるボリュームや勾配が回避されます。実験は、私たちの反復オプティマイザが、深さとポーズを洗練しながら、機能メトリックのコストを効果的に削減することを示しています。私たちの方法は、以前の方法よりも優れており、コストボリュームベースの方法よりも計算とメモリ消費の効率が高くなっています。私たちのメソッドのコードは公開されます。
There are increasing interests of studying the structure-from-motion (SfM) problem with machine learning techniques. While earlier methods directly learn a mapping from images to depth maps and camera poses, more recent works enforce multi-view geometry through optimization embed in the learning framework. This paper presents a novel optimization method based on recurrent neural networks to further exploit the potential of neural networks in SfM. Our neural optimizer alternatively updates the depth and camera poses through iterations to minimize a feature-metric cost. Two gated recurrent units are designed to trace the historical information during the iterations. Our network works as a zeroth-order optimizer, where the computation and memory expensive cost volume or gradients are avoided. Experiments demonstrate that our recurrent optimizer effectively reduces the feature-metric cost while refining the depth and poses. Our method outperforms previous methods and is more efficient in computation and memory consumption than cost-volume-based methods. The code of our method will be made public.