野生で展開されている機械学習システムは、多くの場合、ソースディストリビューションでトレーニングされていますが、別のターゲットディストリビューションで展開されています。ラベルのないデータは、ラベルの付いたデータよりもはるかに利用しやすいことが多いため、これらの分布の変化を軽減するための強力なレバレッジポイントになります。ただし、ラベルのないデータの既存の配布シフトベンチマークは、実際のアプリケーションで発生するシナリオの幅を反映していません。この作業では、WILDS 2.0アップデートを紹介します。これは、配布シフトのWILDSベンチマークの10個のデータセットのうち8個を拡張して、展開で現実的に取得できるキュレートされたラベルなしデータを含みます。一貫性を維持するために、ラベル付けされたトレーニング、検証、テストセット、および評価メトリックは、元のWILDSベンチマークとまったく同じです。これらのデータセットは、幅広いアプリケーション(組織学から野生生物保護まで)、タスク(分類、回帰、検出)、およびモダリティ(写真、衛星画像、顕微鏡スライド、テキスト、分子グラフ)に及びます。ドメイン不変、自己トレーニング、自己監視の方法など、ラベルのないデータを活用する最先端の方法のベンチマークを体系的に行い、WILDS2.0での成功は限られていることを示しています。メソッドの開発と評価を容易にするために、データの読み込みを自動化し、このホワイトペーパーで使用されているすべてのモデルアーキテクチャとメソッドを含むオープンソースパッケージを提供しています。コードとリーダーボードはhttps://wilds.stanford.eduで入手できます。
Machine learning systems deployed in the wild are often trained on a source distribution but deployed on a different target distribution. Unlabeled data can be a powerful point of leverage for mitigating these distribution shifts, as it is frequently much more available than labeled data. However, existing distribution shift benchmarks for unlabeled data do not reflect the breadth of scenarios that arise in real-world applications. In this work, we present the WILDS 2.0 update, which extends 8 of the 10 datasets in the WILDS benchmark of distribution shifts to include curated unlabeled data that would be realistically obtainable in deployment. To maintain consistency, the labeled training, validation, and test sets, as well as the evaluation metrics, are exactly the same as in the original WILDS benchmark. These datasets span a wide range of applications (from histology to wildlife conservation), tasks (classification, regression, and detection), and modalities (photos, satellite images, microscope slides, text, molecular graphs). We systematically benchmark state-of-the-art methods that leverage unlabeled data, including domain-invariant, self-training, and self-supervised methods, and show that their success on WILDS 2.0 is limited. To facilitate method development and evaluation, we provide an open-source package that automates data loading and contains all of the model architectures and methods used in this paper. Code and leaderboards are available at https://wilds.stanford.edu.