arXiv reaDer
Using Pre-Training Can Improve Model Robustness and Uncertainty
  彼等。 (2018)スクラッチからのトレーニングは多くの場合、事前トレーニングと同様のパフォーマンスをもたらすことができることを示すことで、事前トレーニングの有用性を疑問視しています事前トレーニングは、従来の分類指標のパフォーマンスを改善しない可能性がありますが、モデルの堅牢性と不確実性の推定を改善することを示します。敵対者の例、ラベルの破損、クラスの不均衡、配信外の検出、および信頼度のキャリブレーションに関する広範な実験を通じて、事前トレーニングおよびタスク固有の方法による補完効果から大きな利益を示しています。敵対者の事前トレーニングを導入し、敵対者の堅牢性において以前の最先端技術よりも約10%の絶対的な改善を示します。場合によっては、タスク固有のメソッドを使用せずに事前トレーニングを使用することも最先端技術を上回り、堅牢性および不確実性のタスクに関する将来のメソッドを評価する際の事前トレーニングの必要性を強調します。
He et al. (2018) have called into question the utility of pre-training by showing that training from scratch can often yield similar performance to pre-training. We show that although pre-training may not improve performance on traditional classification metrics, it improves model robustness and uncertainty estimates. Through extensive experiments on adversarial examples, label corruption, class imbalance, out-of-distribution detection, and confidence calibration, we demonstrate large gains from pre-training and complementary effects with task-specific methods. We introduce adversarial pre-training and show approximately a 10% absolute improvement over the previous state-of-the-art in adversarial robustness. In some cases, using pre-training without task-specific methods also surpasses the state-of-the-art, highlighting the need for pre-training when evaluating future methods on robustness and uncertainty tasks.
updated: Sun Oct 20 2019 20:09:20 GMT+0000 (UTC)
published: Mon Jan 28 2019 19:37:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト