教師なしドメイン適応(UDA)への関心は近年急上昇しており、その結果、多数の新しいアルゴリズムが生まれています。ただし、動きの速いフィールドでよくあることですが、ベースラインアルゴリズムは、本来あるべき範囲でテストされていません。さらに、検証方法、つまりターゲットドメインラベルがない場合のモデルの精度を推定する方法にはほとんど注意が払われていません。これは、検証方法がUDAトレイン/ valパイプラインの重要なコンポーネントであるという事実にもかかわらずです。この論文では、大規模な実験を通じて、1)オラクル設定では、UDAアルゴリズム間の精度の差が以前に考えられていたよりも小さいこと、2)最先端の検証方法が精度と十分に相関していないことを示します。 、および3)UDAアルゴリズム間の違いは、検証方法によって引き起こされる精度の低下によって小さくなります。
Interest in unsupervised domain adaptation (UDA) has surged in recent years, resulting in a plethora of new algorithms. However, as is often the case in fast-moving fields, baseline algorithms are not tested to the extent that they should be. Furthermore, little attention has been paid to validation methods, i.e. the methods for estimating the accuracy of a model in the absence of target domain labels. This is despite the fact that validation methods are a crucial component of any UDA train/val pipeline. In this paper, we show via large-scale experimentation that 1) in the oracle setting, the difference in accuracy between UDA algorithms is smaller than previously thought, 2) state-of-the-art validation methods are not well-correlated with accuracy, and 3) differences between UDA algorithms are dwarfed by the drop in accuracy caused by validation methods.