深いニューラルネットワークを使用したSO(3)多様体の回転の回帰は、重要であるが未解決の問題です。ユークリッドネットワーク出力空間と非ユークリッドSO(3)多様体の間のギャップは、フォワードパスとバックワードパスの両方でニューラルネットワーク学習に深刻な課題を課します。いくつかの作品が異なる回帰に適した回転表現を提案していますが、後方パスでの勾配逆伝播の改善に専念している作品はほとんどありません。この論文では、深いネットワークの重みに直接逆伝播する多様体を意識した勾配を提案します。リーマン勾配と新しい射影勾配を活用して、提案された正則化射影多様体勾配(RPMG)は、ネットワークがさまざまな回転推定タスクで新しい最先端のパフォーマンスを実現するのに役立ちます。提案された勾配層は、単位球などの他の滑らかな多様体にも適用できます。
Regressing rotations on SO(3) manifold using deep neural networks is an important yet unsolved problem. The gap between Euclidean network output space and the non-Euclidean SO(3) manifold imposes a severe challenge for neural network learning in both forward and backward passes. While several works have proposed different regression-friendly rotation representations, very few works have been devoted to improving the gradient backpropagating in the backward pass. In this paper, we propose a manifold-aware gradient that directly backpropagates into deep network weights. Leveraging the Riemannian gradient and a novel projective gradient, our proposed regularized projective manifold gradient (RPMG) helps networks achieve new state-of-the-art performance in a variety of rotation estimation tasks. The proposed gradient layer can also be applied to other smooth manifolds such as the unit sphere.