arXiv reaDer
ドメインのランダム化とピラミッドの一貫性: ターゲット ドメイン データにアクセスせずに、シミュレーションから現実への一般化
Domain Randomization and Pyramid Consistency: Simulation-to-Real Generalization without Accessing Target Domain Data
ドメイン一般化の方法で、現実世界の自動運転シーンのセマンティック セグメンテーションにシミュレーションの可能性を活用することを提案します。セグメンテーション ネットワークは、ターゲット ドメインのデータなしでトレーニングされ、目に見えないターゲット ドメインでテストされます。この目的のために、一般化性の高いモデルを学習するために、ドメインのランダム化とピラミッドの一貫性の新しいアプローチを提案します。まず、ドメイン不変表現を効果的に学習するために、補助データセットを使用して視覚的外観の観点から合成画像を実際の画像のスタイルでランダム化することを提案します。次に、ドメイン不変およびスケール不変の機能をそれぞれ学習するために、さまざまな「様式化された」画像間および画像内でピラミッドの一貫性をさらに強化します。 GTA や SYNTHIA から Cityscapes、BDDS、Mapillary への一般化に関する広範な実験が行われています。そして私たちの方法は、最先端の技術よりも優れた結果を達成します。驚くべきことに、私たちの一般化の結果は、トレーニング時にターゲット ドメイン データにアクセスする最先端のシミュレーションから実際のドメインへの適応方法によって得られた結果と同等か、それよりも優れています。
We propose to harness the potential of simulation for the semantic segmentation of real-world self-driving scenes in a domain generalization fashion. The segmentation network is trained without any data of target domains and tested on the unseen target domains. To this end, we propose a new approach of domain randomization and pyramid consistency to learn a model with high generalizability. First, we propose to randomize the synthetic images with the styles of real images in terms of visual appearances using auxiliary datasets, in order to effectively learn domain-invariant representations. Second, we further enforce pyramid consistency across different "stylized" images and within an image, in order to learn domain-invariant and scale-invariant features, respectively. Extensive experiments are conducted on the generalization from GTA and SYNTHIA to Cityscapes, BDDS and Mapillary; and our method achieves superior results over the state-of-the-art techniques. Remarkably, our generalization results are on par with or even better than those obtained by state-of-the-art simulation-to-real domain adaptation methods, which access the target domain data at training time.
updated: Wed Aug 10 2022 04:32:05 GMT+0000 (UTC)
published: Mon Sep 02 2019 23:33:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト