arXiv reaDer
Deep Sub-Ensembles for Fast Uncertainty Estimation in Image Classification
 モデルの不確実性の高速推定は、多くの堅牢なロボットアプリケーションに必要です。 Deep Ensemblesは、ベイジアン手法を必要とせずに最先端の不確実性を提供しますが、それでも計算コストがかかります。この論文では、深いサブアンサンブルを提案します。これは、モデル全体ではなく、出力に近い層のみをアンサンブルすることを核とする深いアンサンブルの近似です。 CIFAR10データセットでResNet-20を使用すると、Deep Ensembleで1.5〜2.5の高速化が得られますが、SVHNデータセットでVGGのようなネットワークを使用すると、エラーとNLLがわずかに増加します。私たちの結果は、このアイデアがエラーと不確実性の品質と計算性能のトレードオフを可能にすることを示しています。
Fast estimates of model uncertainty are required for many robust robotics applications. Deep Ensembles provides state of the art uncertainty without requiring Bayesian methods, but still it is computationally expensive. In this paper we propose deep sub-ensembles, an approximation to deep ensembles where the core idea is to ensemble only the layers close to the output, and not the whole model. With ResNet-20 on the CIFAR10 dataset, we obtain 1.5-2.5 speedup over a Deep Ensemble, with a small increase in error and NLL, and similarly up to 5-15 speedup with a VGG-like network on the SVHN dataset. Our results show that this idea enables a trade-off between error and uncertainty quality versus computational performance.
updated: Fri Nov 29 2019 12:23:45 GMT+0000 (UTC)
published: Thu Oct 17 2019 21:07:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト