合成データは、特に実際のデータを取得するのが難しい場合や注釈を付けるのが難しい場合に、教師あり深層学習のスケーラビリティの問題に対する有望なソリューションとして浮上しています。ただし、ドメインの専門家が手動で入念にプロセスを監視する必要がある場合、合成データの生成自体が非常に高額になる可能性があります。さらに、合成データでトレーニングされたニューラルネットワークは、ドメインギャップのために、実際のデータではうまく機能しないことがよくあります。これらの課題を解決するために、実際のデータの分布を照合するための自己監視自動シーン生成手法であるSim2SGを提案します。重要なことに、Sim2SGは実際のデータセットからの監視を必要としないため、そのような注釈を取得するのが難しい状況に適用できます。 Sim2SGは、実際のデータのコンテンツを照合し、ソースドメインとターゲットドメインの機能を照合することにより、コンテンツと外観のギャップを埋めるように設計されています。ラベル付けされたデータセットの可用性が限られているため、ダウンストリームタスクとしてシーングラフ(SG)生成を選択します。実験では、いくつかの合成データセットと実際のKITTIデータセットで、定性的および定量的にドメインギャップを削減するという点で、主要なベースラインを大幅に上回っています。
Synthetic data is emerging as a promising solution to the scalability issue of supervised deep learning, especially when real data are difficult to acquire or hard to annotate. Synthetic data generation, however, can itself be prohibitively expensive when domain experts have to manually and painstakingly oversee the process. Moreover, neural networks trained on synthetic data often do not perform well on real data because of the domain gap. To solve these challenges, we propose Sim2SG, a self-supervised automatic scene generation technique for matching the distribution of real data. Importantly, Sim2SG does not require supervision from the real-world dataset, thus making it applicable in situations for which such annotations are difficult to obtain. Sim2SG is designed to bridge both the content and appearance gaps, by matching the content of real data, and by matching the features in the source and target domains. We select scene graph (SG) generation as the downstream task, due to the limited availability of labeled datasets. Experiments demonstrate significant improvements over leading baselines in reducing the domain gap both qualitatively and quantitatively, on several synthetic datasets as well as the real-world KITTI dataset.