自動運転車の知覚タスクのための画像ベースの学習方法では、過剰適合せずに適切にトレーニングするために、ラベル付けされた実際のデータが大量に必要になります。シミュレートされたデータの力を活用することで、これらのコストを軽減できる可能性がありますが、シミュレーションドメインでトレーニングされたネットワークは、通常、実際のドメインの画像に適用すると適切に機能しません。ドメイン適応の最近の進歩は、共有潜在空間の仮定がシミュレーションドメインと実際のドメインの間のギャップを埋めるのに役立ち、シミュレーションドメインから実際のドメインへのネットワークの予測機能の移転を可能にすることを示しています。共有潜在空間と補助デコーダーを備えたツインVAEベースのアーキテクチャーが、実領域でペアのグラウンドトゥルースデータを必要とせずにsim2realギャップを埋めることができることを示します。このアーキテクチャは、シミュレーションドメインでペアのグラウンドトゥルースデータのみを使用して、深度マップやセグメンテーションマップなどの知覚タスクを生成する可能性があります。この方法を教師ありの方法でトレーニングされたネットワークと比較して、これらの結果のメリットを示します。
Image-based learning methods for autonomous vehicle perception tasks require large quantities of labelled, real data in order to properly train without overfitting, which can often be incredibly costly. While leveraging the power of simulated data can potentially aid in mitigating these costs, networks trained in the simulation domain usually fail to perform adequately when applied to images in the real domain. Recent advances in domain adaptation have indicated that a shared latent space assumption can help to bridge the gap between the simulation and real domains, allowing the transference of the predictive capabilities of a network from the simulation domain to the real domain. We demonstrate that a twin VAE-based architecture with a shared latent space and auxiliary decoders is able to bridge the sim2real gap without requiring any paired, ground-truth data in the real domain. Using only paired, ground-truth data in the simulation domain, this architecture has the potential to generate perception tasks such as depth and segmentation maps. We compare this method to networks trained in a supervised manner to indicate the merit of these results.