arXiv reaDer
The Cells Out of Sample (COOS) dataset and benchmarks for measuring out-of-sample generalization of image classifiers
 分類器がサンプル外のデータセットに一般化されるかどうかを理解することは、機械学習の中心的な問題です。顕微鏡画像は、ますます発散するが制御された変動要因の下で同じクラスのオブジェクトを画像化できるため、画像分類器の一般化能力を測定する標準化された方法を提供します。マウス細胞COOS-7(サンプル7クラスからの細胞)の132,209個の画像のパブリックデータセットを作成しました。 COOS-7は、4つのテストデータセットの共変量シフトの度合いが増加する分類設定を提供します。一部の画像はトレーニングデータのランダムなサブセットであり、他の画像は数か月後に再現され、異なる機器で撮像されたものです。転送されたニューラルネットワーク機能、監視されたディープCNNを使用したエンドツーエンドの分類、および自己監視されたCNNの機能など、さまざまな表現を使用して分類モデルの範囲をベンチマークしました。ほとんどの分類子は、トレーニングデータセットと同様のテストデータセットで良好に機能しますが、すべての分類子は、共変量シフトの大きいデータセットにパフォーマンスを一般化できませんでした。これらのベースラインは、画像データの共変量シフトの課題を浮き彫りにし、画像分類器の一般化能力を改善するためのメトリックを確立します。
Understanding if classifiers generalize to out-of-sample datasets is a central problem in machine learning. Microscopy images provide a standardized way to measure the generalization capacity of image classifiers, as we can image the same classes of objects under increasingly divergent, but controlled factors of variation. We created a public dataset of 132,209 images of mouse cells, COOS-7 (Cells Out Of Sample 7-Class). COOS-7 provides a classification setting where four test datasets have increasing degrees of covariate shift: some images are random subsets of the training data, while others are from experiments reproduced months later and imaged by different instruments. We benchmarked a range of classification models using different representations, including transferred neural network features, end-to-end classification with a supervised deep CNN, and features from a self-supervised CNN. While most classifiers perform well on test datasets similar to the training dataset, all classifiers failed to generalize their performance to datasets with greater covariate shifts. These baselines highlight the challenges of covariate shifts in image data, and establish metrics for improving the generalization capacity of image classifiers.
updated: Mon Jan 06 2020 15:46:56 GMT+0000 (UTC)
published: Mon Jun 17 2019 21:35:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト