テスト時適応 (TTA) 方法は、一般にモデルの予測 (エントロピー最小化など) に依存して、ソースの事前トレーニング済みモデルをラベルのないターゲット ドメインに適応させますが、1) 不正確な予測または 2) オープンセット予測に起因するノイズの多い信号に悩まされます。 。長期にわたる安定した適応は、このようなノイズの多い信号によって妨げられるため、実際の TTA には、このような誤差の蓄積を伴わないトレーニング モデルが不可欠です。オープンセット TTA を含むこれらの問題に対処するために、次の重要な経験的発見に触発された、シンプルかつ効果的なサンプル選択方法を提案します。エントロピーの最小化により、モデルは予測ラベル (つまり、信頼値) の確率を増加させることになりますが、ノイズの多いサンプルではむしろ信頼値の低下が示されることがわかりました。より具体的には、エントロピー最小化は、個々のサンプルの予測の信頼値を上げようとしますが、個々の信頼値は、他の多数の予測からのシグナル (つまり、群衆の知恵) の影響により増減する可能性があります。この事実により、一般に正しい信号に見られる、そのような「群衆の知恵」とずれたノイズの多い信号は、値を上げようとしても間違ったサンプルの個々の信頼値を上げることができません。このような発見に基づいて、ノイズが多い可能性が高いため、適応モデルの方が元のモデルよりも信頼値が低いサンプルをフィルタリングして除外します。私たちの方法は既存のTTA方法に広く適用でき、画像分類(例:TENTでエラー率49.4%削減)とセマンティックセグメンテーション(例:TENTでmIoUで11.7%増加)の両方で長期適応パフォーマンスを向上させます。
Test-time adaptation (TTA) methods, which generally rely on the model's predictions (e.g., entropy minimization) to adapt the source pretrained model to the unlabeled target domain, suffer from noisy signals originating from 1) incorrect or 2) open-set predictions. Long-term stable adaptation is hampered by such noisy signals, so training models without such error accumulation is crucial for practical TTA. To address these issues, including open-set TTA, we propose a simple yet effective sample selection method inspired by the following crucial empirical finding. While entropy minimization compels the model to increase the probability of its predicted label (i.e., confidence values), we found that noisy samples rather show decreased confidence values. To be more specific, entropy minimization attempts to raise the confidence values of an individual sample's prediction, but individual confidence values may rise or fall due to the influence of signals from numerous other predictions (i.e., wisdom of crowds). Due to this fact, noisy signals misaligned with such 'wisdom of crowds', generally found in the correct signals, fail to raise the individual confidence values of wrong samples, despite attempts to increase them. Based on such findings, we filter out the samples whose confidence values are lower in the adapted model than in the original model, as they are likely to be noisy. Our method is widely applicable to existing TTA methods and improves their long-term adaptation performance in both image classification (e.g., 49.4% reduced error rates with TENT) and semantic segmentation (e.g., 11.7% gain in mIoU with TENT).