この作業では、破損などの分布シフトを伴うテストデータで優れたパフォーマンスを発揮することが証明されている、テスト時間適応 (TTA) を強化するための新しい補完的な学習アプローチを提案します。テスト時の適応タスクでは、ソース ドメインからの情報は通常利用できず、モデルはテスト時のサンプルの監督なしで最適化する必要があります。したがって、通常の方法では、教師なし学習フレームワークで十分にトレーニングされたソース モデルによる予測を使用して、注釈のないデータにラベルを割り当てます。以前の研究では、テスト時のサンプルの特徴を効果的に学習するための最適化ターゲットとして、モデル予測のエントロピーなどの教師なし目標を採用していました。ただし、モデルのパフォーマンスは、疑似ラベルの不正確さがモデルにノイズを導入するため、疑似ラベルの品質によって簡単に損なわれます。したがって、「可能性の低いカテゴリ」を活用して、誤った疑似ラベル付けのリスクを減らすことを提案します。これらのカテゴリを指定するために、補完的なラベルが導入されています。補完ラベルのリスク関数は、従来の真のラベル分布の下でのバニラ損失式と一致することを強調します。実験は、提案された学習アルゴリズムがさまざまなデータセットと実験設定で最先端のパフォーマンスを達成することを示しています。
In this work, we propose a novel complementary learning approach to enhance test-time adaptation (TTA), which has been proven to exhibit good performance on testing data with distribution shifts such as corruptions. In test-time adaptation tasks, information from the source domain is typically unavailable and the model has to be optimized without supervision for test-time samples. Hence, usual methods assign labels for unannotated data with the prediction by a well-trained source model in an unsupervised learning framework. Previous studies have employed unsupervised objectives, such as the entropy of model predictions, as optimization targets to effectively learn features for test-time samples. However, the performance of the model is easily compromised by the quality of pseudo-labels, since inaccuracies in pseudo-labels introduce noise to the model. Therefore, we propose to leverage the "less probable categories" to decrease the risk of incorrect pseudo-labeling. The complementary label is introduced to designate these categories. We highlight that the risk function of complementary labels agrees with their Vanilla loss formula under the conventional true label distribution. Experiments show that the proposed learning algorithm achieves state-of-the-art performance on different datasets and experiment settings.