このホワイト ペーパーの目標は、事前トレーニング済みの畳み込みニューラル ネットワークをテスト時のドメイン シフトに適応させることです。ラベルなしで、テストバッチの着信ストリームで継続的にこれを行います。既存の文献は、ほとんどの場合、テスト画像の敵対的摂動によって得られた人為的なシフトに基づいています。これに動機付けられて、ドメインシフトの2つの現実的で挑戦的なソース、つまりコンテキストシフトとセマンティックシフトに関する最新技術を評価します。コンテキスト シフトは環境タイプに対応します。たとえば、屋内コンテキストで事前トレーニングされたモデルは、CORe-50 の屋外コンテキストに適応する必要があります。セマンティック シフトはキャプチャ タイプに対応します。たとえば、自然画像で事前トレーニングされたモデルは、DomainNet のクリップアート、スケッチ、絵画に適応する必要があります。予測時間バッチ正規化 (BN)、テスト エントロピー最小化 (TENT)、継続的テスト時間適応 (CoTTA) などの最近の手法を分析に含めます。私たちの調査結果は次の 3 つです。i) テスト時間の適応方法は、セマンティック シフトと比較して、より優れたパフォーマンスを発揮し、コンテキスト シフトでの忘れが少ない、ii) TENT は短期適応では他の方法よりも優れているのに対し、CoTTA は長期適応では他の方法よりも優れています。 iii) BN は最も信頼性が高く堅牢です。コードは https://github.com/tommiekerssies/Evaluating-Continual-Test-Time-Adaptation-for-Contextual-and-Semantic-Domain-Shifts で入手できます。
In this paper, our goal is to adapt a pre-trained convolutional neural network to domain shifts at test time. We do so continually with the incoming stream of test batches, without labels. The existing literature mostly operates on artificial shifts obtained via adversarial perturbations of a test image. Motivated by this, we evaluate the state of the art on two realistic and challenging sources of domain shifts, namely contextual and semantic shifts. Contextual shifts correspond to the environment types, for example, a model pre-trained on indoor context has to adapt to the outdoor context on CORe-50. Semantic shifts correspond to the capture types, for example a model pre-trained on natural images has to adapt to cliparts, sketches, and paintings on DomainNet. We include in our analysis recent techniques such as Prediction-Time Batch Normalization (BN), Test Entropy Minimization (TENT) and Continual Test-Time Adaptation (CoTTA). Our findings are three-fold: i) Test-time adaptation methods perform better and forget less on contextual shifts compared to semantic shifts, ii) TENT outperforms other methods on short-term adaptation, whereas CoTTA outpeforms other methods on long-term adaptation, iii) BN is most reliable and robust. Our code is available at https://github.com/tommiekerssies/Evaluating-Continual-Test-Time-Adaptation-for-Contextual-and-Semantic-Domain-Shifts.