勾配ベースのアルゴリズムは、最新のコンピュータービジョンおよびグラフィックスアプリケーションにとって非常に重要であり、学習ベースの最適化と逆問題を可能にします。たとえば、カラー画像のフォトリアリスティックな微分可能レンダリングパイプラインは、2Dおよび3Dドメインのマッピングを目的とするアプリケーションにとって非常に価値があることが証明されています。ただし、構造化光深度センサーのシミュレーションは複雑な光輸送とステレオマッチングの解決を意味するため、私たちの知る限り、これらの勾配ベースの方法を深度(2.5D)画像の生成に拡張するための取り組みはこれまで行われていません。問題。この論文では、物理ベースの3Dレンダリングとカスタムブロックマッチングアルゴリズムに基づいて構築された、現実的な2.5Dスキャンを生成するための新しいエンドツーエンドの微分可能なシミュレーションパイプラインを紹介します。各モジュールは、センサーとシーンのパラメーターで区別できます。たとえば、提供されたスキャンで新しいデバイスのシミュレーションを自動的に調整したり、大規模なコンピュータービジョンアプリケーション内でパイプラインを3Dから2.5Dへのトランスフォーマーとして活用したりします。さまざまな深度ベースの認識タスク(分類、ポーズ推定、セマンティックセグメンテーション)の深層学習方法のトレーニングに適用されたシミュレーションは、実際のスキャンで結果のモデルのパフォーマンスを大幅に向上させ、それによってその合成深度の忠実度と価値を実証します以前の静的シミュレーションおよび学習ベースのドメイン適応スキームと比較したデータ。
Gradient-based algorithms are crucial to modern computer-vision and graphics applications, enabling learning-based optimization and inverse problems. For example, photorealistic differentiable rendering pipelines for color images have been proven highly valuable to applications aiming to map 2D and 3D domains. However, to the best of our knowledge, no effort has been made so far towards extending these gradient-based methods to the generation of depth (2.5D) images, as simulating structured-light depth sensors implies solving complex light transport and stereo-matching problems. In this paper, we introduce a novel end-to-end differentiable simulation pipeline for the generation of realistic 2.5D scans, built on physics-based 3D rendering and custom block-matching algorithms. Each module can be differentiated w.r.t sensor and scene parameters; e.g., to automatically tune the simulation for new devices over some provided scans or to leverage the pipeline as a 3D-to-2.5D transformer within larger computer-vision applications. Applied to the training of deep-learning methods for various depth-based recognition tasks (classification, pose estimation, semantic segmentation), our simulation greatly improves the performance of the resulting models on real scans, thereby demonstrating the fidelity and value of its synthetic depth data compared to previous static simulations and learning-based domain adaptation schemes.