最先端のビジョンモデルのトレーニングは、研究者や実務家にとって法外な費用がかかるようになりました。アクセシビリティとリソースの再利用のために、これらのモデルをさまざまなダウンストリームシナリオに適応させることに焦点を当てることが重要です。興味深く実用的なパラダイムは、オンラインのテスト時間適応です。これによれば、トレーニングデータにアクセスできず、テスト分布からのラベル付きデータは利用できず、適応はテスト時間と少数のサンプルでのみ発生します。このホワイトペーパーでは、さまざまな実世界のシナリオで事前にトレーニングされた多数のモデルに対して、テスト時の適応方法がどのように機能するかを調査し、当初の評価方法を大幅に拡張します。狭く定義された実験設定でのみ良好に機能し、テストされているのと同じシナリオでハイパーパラメータが選択されていない場合、壊滅的に失敗することがあることを示します。テスト時に最終的に遭遇する条件に固有の不確実性に動機付けられて、ラプラシアン調整最尤推定(LAME)目標の問題に対処する、特に「保守的な」アプローチを提案します。モデルの出力(パラメーターではなく)を適応させ、効率的な凹凸手順で目的を解決することにより、このアプローチは、既存の方法よりもシナリオ全体ではるかに高い平均精度を示しますが、著しく高速で、メモリフットプリントがはるかに低くなります。コードはhttps://github.com/fiveai/LAMEで入手できます。
Training state-of-the-art vision models has become prohibitively expensive for researchers and practitioners. For the sake of accessibility and resource reuse, it is important to focus on adapting these models to a variety of downstream scenarios. An interesting and practical paradigm is online test-time adaptation, according to which training data is inaccessible, no labelled data from the test distribution is available, and adaptation can only happen at test time and on a handful of samples. In this paper, we investigate how test-time adaptation methods fare for a number of pre-trained models on a variety of real-world scenarios, significantly extending the way they have been originally evaluated. We show that they perform well only in narrowly-defined experimental setups and sometimes fail catastrophically when their hyperparameters are not selected for the same scenario in which they are being tested. Motivated by the inherent uncertainty around the conditions that will ultimately be encountered at test time, we propose a particularly "conservative" approach, which addresses the problem with a Laplacian Adjusted Maximum-likelihood Estimation (LAME) objective. By adapting the model's output (not its parameters), and solving our objective with an efficient concave-convex procedure, our approach exhibits a much higher average accuracy across scenarios than existing methods, while being notably faster and have a much lower memory footprint. The code is available at https://github.com/fiveai/LAME.