この論文では、傾斜した画像の表面法線を推定するための空間整流器を提示します。傾斜した画像は、体やロボットに取り付けられたカメラなどの任意の向きのセンサーによってより多くの視覚データがキャプチャされるため、特に興味深いものです。既存のアプローチは、重力に合わせた画像を使用してトレーニングされたため、表面法線の予測に限界のあるパフォーマンスを示します。私たちの2つの主要な仮説は次のとおりです。(1)視覚的なシーンレイアウトは重力方向を示します。 (2)学習データの構造化された分布により、すべての面が学習推定量によって等しく表されるわけではないため、傾斜した画像ごとに、他より学習推定量に応答する変換が存在します。傾斜画像の表面正規分布を、重力に合わせたトレーニングデータ分布と一致する補正済み画像に変換するように学習された空間整流器を設計します。空間整流器とともに、小さな角度誤差で強い勾配と外れ値に対するロバスト性を提供する、新しい切り捨て角度損失を提案します。結果の推定器は、ScanNetとNYUv2だけでなく、かなりのロールとピッチのカメラモーションを含むTilt-RGBDと呼ばれる新しいデータセットでも、データ拡張ベースラインを含む最新の方法よりも優れています。
In this paper, we present a spatial rectifier to estimate surface normals of tilted images. Tilted images are of particular interest as more visual data are captured by arbitrarily oriented sensors such as body-/robot-mounted cameras. Existing approaches exhibit bounded performance on predicting surface normals because they were trained using gravity-aligned images. Our two main hypotheses are: (1) visual scene layout is indicative of the gravity direction; and (2) not all surfaces are equally represented by a learned estimator due to the structured distribution of the training data, thus, there exists a transformation for each tilted image that is more responsive to the learned estimator than others. We design a spatial rectifier that is learned to transform the surface normal distribution of a tilted image to the rectified one that matches the gravity-aligned training data distribution. Along with the spatial rectifier, we propose a novel truncated angular loss that offers a stronger gradient at smaller angular errors and robustness to outliers. The resulting estimator outperforms the state-of-the-art methods including data augmentation baselines not only on ScanNet and NYUv2 but also on a new dataset called Tilt-RGBD that includes considerable roll and pitch camera motion.