arXiv reaDer
End-to-End Learnable Geometric Vision by Backpropagating PnP Optimization
 ディープネットワークは、大量のデータからの学習パターンに優れています。一方、多くの幾何学的視覚タスクは最適化問題として指定されています。ディープラーニングと幾何学的ビジョンをシームレスに組み合わせるには、学習と幾何学的最適化をエンドツーエンドで実行することが不可欠です。この目的に向けて、BPnPを提供します。これは、パースペクティブnポイント(PnP)ソルバーを介して勾配を逆伝播し、ニューラルネットワークのパラメーター更新をガイドする新しいネットワークモジュールです。暗黙の微分に基づいて、オプティマイザーブロックが微分可能な関数であるかのように、「自己完結型」PnPソルバーの勾配を正確かつ効率的に導出できることを示します。 BPnPは、トレーニングデータセットからカメラの組み込み関数、カメラの外因性(ポーズ)、および3D構造を学習できるディープモデルに組み込むことで検証します。さらに、オブジェクトポーズ推定用のエンドツーエンドのトレーニング可能なパイプラインを開発します。これは、機能ベースのヒートマップ損失と2D-3D再投影エラーを組み合わせることにより、より高い精度を実現します。私たちのアプローチは他の最適化問題に拡張できるので、私たちの仕事は学習可能な幾何学的視覚を原理的な方法で実行する道を開くのに役立ちます。 BPnPのPyTorch実装は、で入手できます。
Deep networks excel in learning patterns from large amounts of data. On the other hand, many geometric vision tasks are specified as optimization problems. To seamlessly combine deep learning and geometric vision, it is vital to perform learning and geometric optimization end-to-end. Towards this aim, we present BPnP, a novel network module that backpropagates gradients through a Perspective-n-Points (PnP) solver to guide parameter updates of a neural network. Based on implicit differentiation, we show that the gradients of a "self-contained" PnP solver can be derived accurately and efficiently, as if the optimizer block were a differentiable function. We validate BPnP by incorporating it in a deep model that can learn camera intrinsics, camera extrinsics (poses) and 3D structure from training datasets. Further, we develop an end-to-end trainable pipeline for object pose estimation, which achieves greater accuracy by combining feature-based heatmap losses with 2D-3D reprojection errors. Since our approach can be extended to other optimization problems, our work helps to pave the way to perform learnable geometric vision in a principled manner. Our PyTorch implementation of BPnP is available on
updated: Mon Mar 16 2020 08:05:16 GMT+0000 (UTC)
published: Fri Sep 13 2019 05:45:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト