arXiv reaDer
A Simple Non-i.i.d. Sampling Approach for Efficient Training and Better Generalization
独立した同一の分布から抽出されたサンプルのトレーニングは、画像分類ネットワークを最適化するための事実上のパラダイムでしたが、人間は新しい概念を簡単に難しい方法で、選択された例で徐々に学習します。この事実に基づいて、サンプルが独立した同一の分布から抽出されないトレーニングパラダイムを調査します。簡単なサンプルを選択的にドロップして定期的にのみ更新する人間の学習行動に動機付けられた、Drop-and-Refresh(DaR)という名前のデータサンプリング戦略を提案します。さまざまなデータセット(CIFAR 10、CIFAR 100、ImageNet)およびさまざまなバックボーンアーキテクチャ(CIFAR 10、CIFAR 100、ImageNet)でトレーニングコストが15%削減された場合でも、提案されたDaR戦略が予測精度を維持(および多くの場合は改善)できることを実験で示します。 ResNets、DenseNetsおよびMobileNets)。さらに、おそらくもっと重要なことに、DaRサンプリング戦略を使用してImageNetの事前トレーニング済みモデルが、オブジェクト検出(+0.3 AP)、インスタンスセグメンテーション(+0.3 AP)、シーン解析(+0.5 mIoU)などのダウンストリームタスクの転送性を向上させることがわかりました。および人間の姿勢の推定(+0.6 AP)。私たちの調査は、トレーニングのためのサンプリング戦略と、ImageNetモデルを事前トレーニングするために学習した機能の転送可能性との間の関係を再考することを人々に奨励しています。
While training on samples drawn from independent and identical distribution has been a de facto paradigm for optimizing image classification networks, humans learn new concepts in an easy-to-hard manner and on the selected examples progressively. Driven by this fact, we investigate the training paradigms where the samples are not drawn from independent and identical distribution. We propose a data sampling strategy, named Drop-and-Refresh (DaR), motivated by the learning behaviors of humans that selectively drop easy samples and refresh them only periodically. We show in our experiments that the proposed DaR strategy can maintain (and in many cases improve) the predictive accuracy even when the training cost is reduced by 15% on various datasets (CIFAR 10, CIFAR 100 and ImageNet) and with different backbone architectures (ResNets, DenseNets and MobileNets). Furthermore and perhaps more importantly, we find the ImageNet pre-trained models using our DaR sampling strategy achieves better transferability for the downstream tasks including object detection (+0.3 AP), instance segmentation (+0.3 AP), scene parsing (+0.5 mIoU) and human pose estimation (+0.6 AP). Our investigation encourages people to rethink the connections between the sampling strategy for training and the transferability of its learned features for pre-training ImageNet models.
updated: Thu Oct 15 2020 03:39:15 GMT+0000 (UTC)
published: Fri Nov 23 2018 02:49:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト