arXiv reaDer
配信外データの価値
The Value of Out-of-Distribution Data
一般化エラーは、同様のタスクからのサンプルが増えると改善され、分布外 (OOD) タスクからのサンプルが増えると悪化すると予想されます。この作業では、直感に反する現象を示します。タスクの一般化エラーは、OOD サンプル数の非単調関数になる可能性があります。 OOD サンプルの数が増えると、ターゲット タスクの一般化エラーは、しきい値を超えて悪化する前に改善されます。つまり、少量の OOD データでのトレーニングには価値があります。この現象を実証および分析するために、MNIST、CIFAR-10、CINIC-10、PACS、DomainNet などのコンピューター ビジョン ベンチマークの合成データセットとディープ ネットワークでフィッシャーの線形判別法を使用します。どのサンプルが OOD であるかがわかっている理想的な設定では、ターゲットと OOD の経験的リスクの適切に重み付けされた目的を使用して、これらの非単調な傾向を利用できることを示します。その実用性は限られていますが、これは、OOD サンプルを検出できれば、そこから利益を得る方法がある可能性があることを示唆しています。どのサンプルが OOD であるかがわからない場合、データの増強、ハイパーパラメーターの最適化、事前トレーニングなどのいくつかの頼りになる戦略では、ターゲットの一般化エラーが時間とともに悪化しないことを保証するのに十分ではないことを示します。データセット内の OOD サンプルの数。
We expect the generalization error to improve with more samples from a similar task, and to deteriorate with more samples from an out-of-distribution (OOD) task. In this work, we show a counter-intuitive phenomenon: the generalization error of a task can be a non-monotonic function of the number of OOD samples. As the number of OOD samples increases, the generalization error on the target task improves before deteriorating beyond a threshold. In other words, there is value in training on small amounts of OOD data. We use Fisher's Linear Discriminant on synthetic datasets and deep networks on computer vision benchmarks such as MNIST, CIFAR-10, CINIC-10, PACS and DomainNet to demonstrate and analyze this phenomenon. In the idealistic setting where we know which samples are OOD, we show that these non-monotonic trends can be exploited using an appropriately weighted objective of the target and OOD empirical risk. While its practical utility is limited, this does suggest that if we can detect OOD samples, then there may be ways to benefit from them. When we do not know which samples are OOD, we show how a number of go-to strategies such as data-augmentation, hyper-parameter optimization, and pre-training are not enough to ensure that the target generalization error does not deteriorate with the number of OOD samples in the dataset.
updated: Mon Jul 10 2023 09:15:22 GMT+0000 (UTC)
published: Tue Aug 23 2022 13:41:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト