教師なしドメイン適応(UDA)の場合、ドメインシフトの影響を軽減するために、多くのアプローチでは、敵対的学習によって、または統計を明示的に調整することにより、特徴空間内のソースドメインとターゲットドメインを調整します。ただし、このようなドメインアラインメントの最適化の目的は、一般に、オブジェクト分類タスク自体の目的と調整されていないため、最適化のための降下方向が一貫していない可能性があります。これにより、UDAのパフォーマンスを向上させるドメインアラインメントの効果が低下します。この論文では、ドメインアラインメントタスクと分類タスクの間の最適化の不整合の問題を調査して軽減することを目的としています。これに対処するために、MetaAlignと呼ばれる効果的なメタ最適化ベースの戦略を提案します。この戦略では、ドメインアラインメントの目的と分類の目的をメタ学習スキームのメタトレーニングおよびメタテストタスクとして扱います。 MetaAlignは、両方のタスクを調整された方法で最適化することを推奨します。これにより、トレーニング中の2つのタスクの勾配の内積が最大化されます。実験結果は、オブジェクト分類とオブジェクト検出のタスクのために、さまざまなアライメントベースのベースラインアプローチに加えて、提案された方法の有効性を示しています。 MetaAlignは、最先端のパフォーマンスを実現するのに役立ちます。
For unsupervised domain adaptation (UDA), to alleviate the effect of domain shift, many approaches align the source and target domains in the feature space by adversarial learning or by explicitly aligning their statistics. However, the optimization objective of such domain alignment is generally not coordinated with that of the object classification task itself such that their descent directions for optimization may be inconsistent. This will reduce the effectiveness of domain alignment in improving the performance of UDA. In this paper, we aim to study and alleviate the optimization inconsistency problem between the domain alignment and classification tasks. We address this by proposing an effective meta-optimization based strategy dubbed MetaAlign, where we treat the domain alignment objective and the classification objective as the meta-train and meta-test tasks in a meta-learning scheme. MetaAlign encourages both tasks to be optimized in a coordinated way, which maximizes the inner product of the gradients of the two tasks during training. Experimental results demonstrate the effectiveness of our proposed method on top of various alignment-based baseline approaches, for tasks of object classification and object detection. MetaAlign helps achieve the state-of-the-art performance.