最近の多くの文献では、動きからの構造 (SfM) を自己教師あり学習問題として定式化しており、その目標は、ビュー合成を通じて深さとエゴモーションのニューラル ネットワーク モデルを共同学習することです。ここでは、深さとエゴモーション ネットワーク コンポーネントを最適に結合する方法という未解決の問題に取り組みます。この目的に向けて、カップリングのいくつかの概念を導入し、既存のアプローチを分類し、トレーニングおよび推論時に深さとエゴモーションの相互依存性を活用する新しい密結合アプローチを提示します。私たちのアプローチでは、反復的なビュー合成を使用して、エゴモーション ネットワーク入力を再帰的に更新し、明示的な重み共有なしでコンポーネント間でコンテキスト情報を渡すことができます。実質的な実験を通じて、私たちのアプローチがテスト時の深度とエゴモーションの予測の間の一貫性を促進し、新しいデータの一般化を改善し、屋内と屋外の深度とエゴモーションの評価ベンチマークで最先端の精度につながることを示しています。
Much recent literature has formulated structure-from-motion (SfM) as a self-supervised learning problem where the goal is to jointly learn neural network models of depth and egomotion through view synthesis. Herein, we address the open problem of how to optimally couple the depth and egomotion network components. Toward this end, we introduce several notions of coupling, categorize existing approaches, and present a novel tightly-coupled approach that leverages the interdependence of depth and egomotion at training and at inference time. Our approach uses iterative view synthesis to recursively update the egomotion network input, permitting contextual information to be passed between the components without explicit weight sharing. Through substantial experiments, we demonstrate that our approach promotes consistency between the depth and egomotion predictions at test time, improves generalization on new data, and leads to state-of-the-art accuracy on indoor and outdoor depth and egomotion evaluation benchmarks.