arXiv reaDer
運動からの自己監視構造のための深さと自我運動ネットワークの結合について
On the Coupling of Depth and Egomotion Networks for Self-Supervised Structure from Motion
運動からの構造(SfM)は最近、自己監視学習問題として定式化されました。ここでは、深さと自我運動のニューラルネットワークモデルがビュー合成を通じて共同で学習されます。ここでは、共通のスケールファクターなどの情報をネットワーク間で共有できるように、深度とエゴモーションのネットワークコンポーネントを最適に結合またはリンクする方法の未解決の問題に対処します。この目的に向けて、結合のいくつかの概念を紹介し、既存のアプローチを分類し、トレーニング時とテスト時に深さと自我運動の相互依存性を活用する新しい密結合アプローチを提示します。私たちのアプローチでは、反復ビュー合成を使用して、エゴモーションネットワーク入力を再帰的に更新し、コンポーネント間でコンテキスト情報を渡すことができます。実質的な実験を通じて、私たちのアプローチがテスト時の深度と自我運動の予測の一貫性を促進し、一般化を改善し、屋内と屋外の深度と自我運動の評価ベンチマークで最先端の精度をもたらすことを示します。
Structure from motion (SfM) has recently been formulated as a self-supervised learning problem, where neural network models of depth and egomotion are learned jointly through view synthesis. Herein, we address the open problem of how to best couple, or link, the depth and egomotion network components, so that information such as a common scale factor can be shared between the networks. Towards this end, we introduce several notions of coupling, categorize existing approaches, and present a novel tightly-coupled approach that leverages the interdependence of depth and egomotion at training time and at test time. Our approach uses iterative view synthesis to recursively update the egomotion network input, permitting contextual information to be passed between the components. We demonstrate through substantial experiments that our approach promotes consistency between the depth and egomotion predictions at test time, improves generalization, and leads to state-of-the-art accuracy on indoor and outdoor depth and egomotion evaluation benchmarks.
updated: Mon Jul 11 2022 14:07:39 GMT+0000 (UTC)
published: Mon Jun 07 2021 23:30:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト