単眼2D画像からの非剛体3D表面回帰の既存の方法の大部分は、入力として複数のフレームにわたるオブジェクトテンプレートまたはポイントトラックを必要とし、リアルタイムの処理速度にはまだほど遠いです。この作業では、Isometry-Aware Monocular Generative Adversarial Network(IsMo-GAN)を紹介します。これは、軽量の合成データセットで敵対的方法で変形モデル用にトレーニングされた、単一画像からの直接3D再構成のアプローチです。 IsMo-GANは、250 Hzを超えるさまざまな照明、カメラポーズ、テクスチャ、およびシェーディングの下で、実際の画像から表面を再構築します。複数の実験で、再構成の精度、実行時間、未知の表面への一般化、およびオクルージョンに対するロバスト性において、一貫していくつかのアプローチを上回っています。最先端のものと比較して、テクスチャのないケースを含めて再構成エラーを10〜30%削減し、表面は質的にアーティファクトが少ないことを示しています。
The majority of the existing methods for non-rigid 3D surface regression from monocular 2D images require an object template or point tracks over multiple frames as an input, and are still far from real-time processing rates. In this work, we present the Isometry-Aware Monocular Generative Adversarial Network (IsMo-GAN) - an approach for direct 3D reconstruction from a single image, trained for the deformation model in an adversarial manner on a light-weight synthetic dataset. IsMo-GAN reconstructs surfaces from real images under varying illumination, camera poses, textures and shading at over 250 Hz. In multiple experiments, it consistently outperforms several approaches in the reconstruction accuracy, runtime, generalisation to unknown surfaces and robustness to occlusions. In comparison to the state-of-the-art, we reduce the reconstruction error by 10-30% including the textureless case and our surfaces evince fewer artefacts qualitatively.