ディープニューラルネットワークを使用したSO(3)多様体の回転の回帰は、重要であるが未解決の問題です。ユークリッドネットワーク出力空間と非ユークリッドSO(3)多様体の間のギャップは、フォワードパスとバックワードパスの両方でニューラルネットワーク学習に深刻な課題を課します。いくつかの作品が異なる回帰に適した回転表現を提案していますが、後方パスでの勾配逆伝播の改善に専念している作品はほとんどありません。この論文では、深いネットワークの重みに直接逆伝播する多様体を意識した勾配を提案します。リーマン最適化を利用して新しい射影勾配を構築する、提案された正則化射影多様体勾配(RPMG)法は、ネットワークがさまざまな回転推定タスクで新しい最先端のパフォーマンスを実現するのに役立ちます。提案された勾配層は、単位球などの他の滑らかな多様体にも適用できます。私たちのプロジェクトページはhttps://jychen18.github.io/RPMGにあります。
Regressing rotations on SO(3) manifold using deep neural networks is an important yet unsolved problem. The gap between the Euclidean network output space and the non-Euclidean SO(3) manifold imposes a severe challenge for neural network learning in both forward and backward passes. While several works have proposed different regression-friendly rotation representations, very few works have been devoted to improving the gradient backpropagating in the backward pass. In this paper, we propose a manifold-aware gradient that directly backpropagates into deep network weights. Leveraging Riemannian optimization to construct a novel projective gradient, our proposed regularized projective manifold gradient (RPMG) method helps networks achieve new state-of-the-art performance in a variety of rotation estimation tasks. Our proposed gradient layer can also be applied to other smooth manifolds such as the unit sphere. Our project page is at https://jychen18.github.io/RPMG.