arXiv reaDer
ハイパースフィア損失を伴う$ 360 ^ o $表面回帰
$360^o$ Surface Regression with a Hyper-Sphere Loss
  現在、より効率的な$ 360 ^ o $画像の取得が可能になっているため、全方向性ビジョンの重要性が高まっています。ただし、注釈付きの$ 360 ^ o $データセットが不足しているため、球面コンテンツでの深層学習手法の適用が妨げられています。これは、単眼表面推定など、グラウンドトゥルースの取得が難しいタスクではさらに誇張されます。 2Dドメインに関する最近の研究アプローチは、RGB-Dセンサーを使用して深度キューから法線を生成することでこの課題を克服していますが、これは球面ドメインに適用するのは非常に困難です。この作業では、既存の3Dデータセットを活用し、レンダリングを介してそれらを再構築することにより、十分な$ 360 ^ o $のグラウンドトゥルースの通常データの利用不能に対処します。屋内空間の$ 360 ^ o $画像のデータセットと対応するグラウンドトゥルースサーフェス法線を提示し、単眼360サーフェス推定のタスクで深畳み込みニューラルネットワーク(CNN)をトレーニングします。これは、単純な四元数代数を使用して、超球で定義された新しい角度損失関数を最小化することでこれを達成します。平面データセットで訓練された他の最先端の方法と適切に比較するよう努力し、最後に、訓練されたモデルの実用的な適用可能性を、有望な一般化能力を定性的に示すことにより、完全に見えないデータを使用した球面画像再照明タスクで提示しますデータセットとモデル。データセットは、vcl3d.github.io / HyperSphereSurfaceRegressionで入手できます。
Omnidirectional vision is becoming increasingly relevant as more efficient $360^o$ image acquisition is now possible. However, the lack of annotated $360^o$ datasets has hindered the application of deep learning techniques on spherical content. This is further exaggerated on tasks where ground truth acquisition is difficult, such as monocular surface estimation. While recent research approaches on the 2D domain overcome this challenge by relying on generating normals from depth cues using RGB-D sensors, this is very difficult to apply on the spherical domain. In this work, we address the unavailability of sufficient $360^o$ ground truth normal data, by leveraging existing 3D datasets and remodelling them via rendering. We present a dataset of $360^o$ images of indoor spaces with their corresponding ground truth surface normal, and train a deep convolutional neural network (CNN) on the task of monocular 360 surface estimation. We achieve this by minimizing a novel angular loss function defined on the hyper-sphere using simple quaternion algebra. We put an effort to appropriately compare with other state of the art methods trained on planar datasets and finally, present the practical applicability of our trained model on a spherical image re-lighting task using completely unseen data by qualitatively showing the promising generalization ability of our dataset and model. The dataset is available at: vcl3d.github.io/HyperSphereSurfaceRegression.
updated: Mon Sep 16 2019 07:55:49 GMT+0000 (UTC)
published: Mon Sep 16 2019 07:55:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト