状況によっては、画像から画像への変換アーキテクチャの有効性が制限される場合があります。たとえば、雨のシナリオを生成している間、水滴が降るときに典型的な雨の特性をモデル化できず、最終的には合成画像のリアリズムに影響を与えます。ドメインブリッジと呼ばれるこの方法では、Webクロールされたデータを利用してドメインギャップを削減し、生成された画像に以前は無視されていた要素を含めます。私たちは、ドメインブリッジでトレーニングされた雨から雨への翻訳用のネットワークを利用して、Unsupervised Domain Adaptation(UDA)に作業を拡張します。そのコンテキストで、オンラインマルチモーダルスタイルサンプリング戦略を導入します。この戦略では、トレーニング時に画像変換のマルチモダリティを活用してパフォーマンスを改善します。最後に、自己教師付き学習の新しいアプローチが提示され、ドメインをさらに調整するために使用されます。私たちの貢献により、生成された画像のリアリズムを同時に高めると同時に、UDAの最先端技術と同等のパフォーマンスをよりシンプルなアプローチで実現しています。
Image-to-image translation architectures may have limited effectiveness in some circumstances. For example, while generating rainy scenarios, they may fail to model typical traits of rain as water drops, and this ultimately impacts the synthetic images realism. With our method, called domain bridge, web-crawled data are exploited to reduce the domain gap, leading to the inclusion of previously ignored elements in the generated images. We make use of a network for clear to rain translation trained with the domain bridge to extend our work to Unsupervised Domain Adaptation (UDA). In that context, we introduce an online multimodal style-sampling strategy, where image translation multimodality is exploited at training time to improve performances. Finally, a novel approach for self-supervised learning is presented, and used to further align the domains. With our contributions, we simultaneously increase the realism of the generated images, while reaching on par performances with respect to the UDA state-of-the-art, with a simpler approach.