過去数年にわたって、シミュレーションベースの技術を使用した合成データ生成の分野で大きな進歩がありました。これらの方法では、ハイエンドのグラフィックエンジンと物理ベースのレイトレーシングレンダリングを使用して、世界を3Dで表現し、非常にリアルな画像を作成します。 Datagenは、高品質の3D人間の生成、現実的な3D環境、および現実的な人間の動きの生成を専門としています。この技術は、これらの実験に使用したデータ生成プラットフォームに発展しました。この作業では、合成写真のようにリアルな車内データを使用して、軽量ニューラルネットワークを使用してドライバーの手がハンドルを握っているかどうかを検出するドライバーモニタリングシステムをトレーニングする方法を示します。利用できる実際のデータが少量の場合、合成データがパフォーマンスを向上させる簡単な方法になる可能性があることを示します。さらに、データ中心のアプローチを採用し、エラー分析を実行し、プラットフォームで欠落しているエッジケースを生成することでパフォーマンスがどのように向上するかを示します。これは、人間中心の合成データが現実の世界にうまく一般化できることを示しており、ターゲットドメインからのデータが不足しているか収集が難しいコンピュータービジョン設定でアルゴリズムをトレーニングするのに役立ちます。
Over the past few years there has been major progress in the field of synthetic data generation using simulation based techniques. These methods use high-end graphics engines and physics-based ray-tracing rendering in order to represent the world in 3D and create highly realistic images. Datagen has specialized in the generation of high-quality 3D humans, realistic 3D environments and generation of realistic human motion. This technology has been developed into a data generation platform which we used for these experiments. This work demonstrates the use of synthetic photo-realistic in-cabin data to train a Driver Monitoring System that uses a lightweight neural network to detect whether the driver's hands are on the wheel. We demonstrate that when only a small amount of real data is available, synthetic data can be a simple way to boost performance. Moreover, we adopt the data-centric approach and show how performing error analysis and generating the missing edge-cases in our platform boosts performance. This showcases the ability of human-centric synthetic data to generalize well to the real world, and help train algorithms in computer vision settings where data from the target domain is scarce or hard to collect.