より良い教師なしドメイン適応(UDA)に向けて。最近、研究者はさまざまなドメイン条件付き注意モジュールを提案し、有望な進歩を遂げています。ただし、アテンションの構成、つまりアテンションモジュールのタイプと位置がパフォーマンスに大きく影響することを考慮すると、アテンション構成を自動的に最適化して任意のUDAシナリオに特化する方が一般的です。このホワイトペーパーでは、初めてEvoADAを提案します。これは、人間の介入なしに、特定のUDAタスクの注意構成を進化させるための新しいフレームワークです。特に、多様な注意構成を含む新しい探索空間を提案します。次に、注意の構成を評価し、検索手順をUDA指向(転送可能性+識別)にするために、シンプルで効果的な評価戦略を適用します。1)既成のドメイン適応方法を使用して2つのドメインのネットワーク重みをトレーニングします。 2)ターゲットドメインの識別能力のガイドの下で注意構成を進化させます。さまざまな種類のクロスドメインベンチマーク、つまりOffice-31、Office-Home、CUB-Paintings、およびDuke-Market-1510での実験により、提案されたEvoADAが複数の最先端のドメイン適応アプローチを一貫して後押しすることが明らかになりました。最適なアテンション構成は、パフォーマンスの向上に役立ちます。
Towards better unsupervised domain adaptation (UDA). Recently, researchers propose various domain-conditioned attention modules and make promising progresses. However, considering that the configuration of attention, i.e., the type and the position of attention module, affects the performance significantly, it is more generalized to optimize the attention configuration automatically to be specialized for arbitrary UDA scenario. For the first time, this paper proposes EvoADA: a novel framework to evolve the attention configuration for a given UDA task without human intervention. In particular, we propose a novel search space containing diverse attention configurations. Then, to evaluate the attention configurations and make search procedure UDA-oriented (transferability + discrimination), we apply a simple and effective evaluation strategy: 1) training the network weights on two domains with off-the-shelf domain adaptation methods; 2) evolving the attention configurations under the guide of the discriminative ability on the target domain. Experiments on various kinds of cross-domain benchmarks, i.e., Office-31, Office-Home, CUB-Paintings, and Duke-Market-1510, reveal that the proposed EvoADA consistently boosts multiple state-of-the-art domain adaptation approaches, and the optimal attention configurations help them achieve better performance.