この論文では、セグメンテーションのためのワンショット教師なしドメイン適応(OSUDA)の問題に取り組みます。この場合、セグメンテーションでは、トレーニング中にラベルのないターゲット画像が1つしか表示されません。この場合、従来の教師なしドメイン適応モデルは、1つ(または少数)のターゲットサンプルに過剰適合するとターゲットドメインに適応できないため、通常は失敗します。この問題に対処するために、既存のOSUDAメソッドは通常、スタイル転送モジュールを統合して、ラベルのないターゲットサンプルに基づいてドメインのランダム化を実行します。これにより、トレーニング中にターゲットサンプルの周囲の複数のドメインを探索できます。ただし、このようなスタイル転送モジュールは、事前トレーニングのスタイル参照として追加の画像セットに依存し、ドメイン適応のためのメモリ需要も増加させます。ここでは、このような計算負荷を効果的に軽減できる新しいOSUDA手法を提案します。具体的には、いくつかのスタイルミキシングレイヤーをセグメンターに統合します。セグメンターは、スタイル転送モジュールの役割を果たし、学習したパラメーターを導入せずにソース画像をスタイル化します。さらに、負の適応を緩和するための教師ありトレーニング中のソースピクセルの重要性を重み付けして考慮するために、パッチワイズプロトタイプマッチング(PPM)法を提案します。実験結果は、私たちの方法がワンショット設定の下でドメイン適応セマンティックセグメンテーションのために一般的に使用される2つのベンチマークで新しい最先端のパフォーマンスを達成し、すべての比較アプローチよりも効率的であることを示しています。
In this paper, we tackle the problem of one-shot unsupervised domain adaptation (OSUDA) for semantic segmentation where the segmentors only see one unlabeled target image during training. In this case, traditional unsupervised domain adaptation models usually fail since they cannot adapt to the target domain with over-fitting to one (or few) target samples. To address this problem, existing OSUDA methods usually integrate a style-transfer module to perform domain randomization based on the unlabeled target sample, with which multiple domains around the target sample can be explored during training. However, such a style-transfer module relies on an additional set of images as style reference for pre-training and also increases the memory demand for domain adaptation. Here we propose a new OSUDA method that can effectively relieve such computational burden. Specifically, we integrate several style-mixing layers into the segmentor which play the role of style-transfer module to stylize the source images without introducing any learned parameters. Moreover, we propose a patchwise prototypical matching (PPM) method to weighted consider the importance of source pixels during the supervised training to relieve the negative adaptation. Experimental results show that our method achieves new state-of-the-art performance on two commonly used benchmarks for domain adaptive semantic segmentation under the one-shot setting and is more efficient than all comparison approaches.