arXiv reaDer
Extreme Rotation Estimation using Dense Correlation Volumes
画像のオーバーラップがほとんどまたはまったくない極端な設定で、RGB画像ペアの相対的な3D回転を推定する手法を紹介します。画像が重なっていない場合でも、光源の方向、消失点、シーンに存在する対称性など、画像の幾何学的関係に関して豊富な隠れた手がかりが存在する可能性があることがわかります。 2つの入力画像間の点のすべてのペアを比較することにより、このような暗黙の手がかりを自動的に学習できるネットワーク設計を提案します。したがって、私たちの方法は、密な特徴相関ボリュームを構築し、これらを処理して相対的な3D回転を予測します。私たちの予測は、3D回転の回帰に関連する問題を回避して、回転のきめ細かい離散化に基づいて形成されます。さまざまな照明条件や地理的位置でキャプチャされた屋内および屋外の画像を含む、多種多様な極端なRGB画像ペアに対するアプローチを示します。私たちの評価は、私たちのモデルが、重なり合う画像ペアのパフォーマンスを損なうことなく、重なり合わない画像間の相対的な回転をうまく推定できることを示しています。
We present a technique for estimating the relative 3D rotation of an RGB image pair in an extreme setting, where the images have little or no overlap. We observe that, even when images do not overlap, there may be rich hidden cues as to their geometric relationship, such as light source directions, vanishing points, and symmetries present in the scene. We propose a network design that can automatically learn such implicit cues by comparing all pairs of points between the two input images. Our method therefore constructs dense feature correlation volumes and processes these to predict relative 3D rotations. Our predictions are formed over a fine-grained discretization of rotations, bypassing difficulties associated with regressing 3D rotations. We demonstrate our approach on a large variety of extreme RGB image pairs, including indoor and outdoor images captured under different lighting conditions and geographic locations. Our evaluation shows that our model can successfully estimate relative rotations among non-overlapping images without compromising performance over overlapping image pairs.
updated: Mon Jul 19 2021 05:00:22 GMT+0000 (UTC)
published: Wed Apr 28 2021 02:00:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト