ドメイン適応 (DA) は、ラベル付けされたデータのみを含むソース ドメインから学習した知識を、ラベル付けされていないデータのみを含むターゲット ドメインに活用することを目的としています。 DA に関する既存の研究のほとんどは、畳み込みベースのニューラル ネットワークに基づいてドメイン ギャップを最小化することにより、両方のドメインのドメイン不変特徴表現の学習に貢献しています。最近、ビジョン トランスフォーマーによって、複数のビジョン タスクのパフォーマンスが大幅に向上しました。ビジョン トランスフォーマーに基づいて構築されたこのホワイト ペーパーでは、パフォーマンスの向上を目的として、DA 用の双方向クロスアテンション トランスフォーマー (BCAT) を提案します。提案された BCAT では、アテンション メカニズムは暗黙的なソースとターゲットの混合機能表現を抽出して、ドメインの不一致を狭めることができます。具体的には、BCAT では、ドメイン不変の特徴表現を学習するための双方向クロスアテンション メカニズムを備えた、重みを共有する 4 分岐トランスフォーマーを設計します。広範な実験により、提案された BCAT モデルが、畳み込みまたは変換に基づく既存の最先端の DA メソッドよりも優れたパフォーマンスを 4 つのベンチマーク データセットで達成することが実証されています。
Domain Adaptation (DA) aims to leverage the knowledge learned from a source domain with ample labeled data to a target domain with unlabeled data only. Most existing studies on DA contribute to learning domain-invariant feature representations for both domains by minimizing the domain gap based on convolution-based neural networks. Recently, vision transformers significantly improved performance in multiple vision tasks. Built on vision transformers, in this paper we propose a Bidirectional Cross-Attention Transformer (BCAT) for DA with the aim to improve the performance. In the proposed BCAT, the attention mechanism can extract implicit source and target mixup feature representations to narrow the domain discrepancy. Specifically, in BCAT, we design a weight-sharing quadruple-branch transformer with a bidirectional cross-attention mechanism to learn domain-invariant feature representations. Extensive experiments demonstrate that the proposed BCAT model achieves superior performance on four benchmark datasets over existing state-of-the-art DA methods that are based on convolutions or transformers.