arXiv reaDer
テスト時間適応のための機能の調整と均一性
Feature Alignment and Uniformity for Test Time Adaptation
テスト時間適応 (TTA) は、配布外のテスト ドメイン サンプルを受信するときにディープ ニューラル ネットワークを適応させることを目的としています。この設定では、モデルはオンラインのラベルのないテスト サンプルとトレーニング ドメイン上の事前トレーニングされたモデルにのみアクセスできます。まず、ソース ドメインとターゲット ドメイン間のドメイン ギャップに起因する機能リビジョンの問題として TTA に対処します。その後、2 つの測定値の調整と均一性に従って、テスト時間の機能の改訂について検討します。テスト時間の特徴の均一性については、現在のバッチと以前のすべてのバッチの表現間の均一性の一貫性を保証するためのテスト時間自己蒸留戦略を提案します。テスト時の特徴の調整では、次のバッチの近傍サンプル間で表現を調整するための、記憶された空間ローカル クラスタリング戦略を提案します。一般的なノイズの多いラベルの問題に対処するために、可能性のあるノイズの多いラベルを選択して削除するエントロピー フィルターと一貫性フィルターを提案します。私たちの方法のスケーラビリティと有効性を証明するために、さまざまなバックボーンを備えた 4 つのドメイン一般化ベンチマークと 4 つの医療画像セグメンテーション タスクに関する実験を実施します。実験結果は、私たちの方法がベースラインを安定して改善するだけでなく、既存の最先端のテスト時間適応方法よりも優れていることを示しています。コードは https://github.com/SakurajimaMaiii/TSDhttps://github.com/SakurajimaMaiii/TSD で入手できます。
Test time adaptation (TTA) aims to adapt deep neural networks when receiving out of distribution test domain samples. In this setting, the model can only access online unlabeled test samples and pre-trained models on the training domains. We first address TTA as a feature revision problem due to the domain gap between source domains and target domains. After that, we follow the two measurements alignment and uniformity to discuss the test time feature revision. For test time feature uniformity, we propose a test time self-distillation strategy to guarantee the consistency of uniformity between representations of the current batch and all the previous batches. For test time feature alignment, we propose a memorized spatial local clustering strategy to align the representations among the neighborhood samples for the upcoming batch. To deal with the common noisy label problem, we propound the entropy and consistency filters to select and drop the possible noisy labels. To prove the scalability and efficacy of our method, we conduct experiments on four domain generalization benchmarks and four medical image segmentation tasks with various backbones. Experiment results show that our method not only improves baseline stably but also outperforms existing state-of-the-art test time adaptation methods. Code is available at https://github.com/SakurajimaMaiii/TSDhttps://github.com/SakurajimaMaiii/TSD.
updated: Sun May 21 2023 04:42:08 GMT+0000 (UTC)
published: Mon Mar 20 2023 06:44:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト