arXiv reaDer
ブラーはアンサンブルのように動作します:精度、不確実性、および堅牢性を向上させるための空間スムージング
Blurs Behave Like Ensembles: Spatial Smoothings to Improve Accuracy, Uncertainty, and Robustness
ベイズニューラルネットワーク(BNN)などのニューラルネットワークアンサンブルは、不確実性の推定とロバスト性の分野で成功を収めています。ただし、重大な課題により、実際の使用は禁止されています。 BNNは、信頼できる結果を生成するために多数の予測を必要とし、計算コストの大幅な増加につながります。この問題を軽減するために、畳み込みニューラルネットワークの隣接する特徴マップポイントを空間的にアンサンブルする方法である空間平滑化を提案します。モデルにいくつかのブラーレイヤーを追加するだけで、空間平滑化により、アンサンブルサイズの全範囲にわたってBNNの精度、不確実性の推定、およびロバスト性が向上することを経験的に示します。特に、空間平滑化を組み込んだBNNは、ほんの一握りのアンサンブルで高い予測パフォーマンスを実現します。さらに、この方法は、パフォーマンスを向上させるために、正規の決定論的ニューラルネットワークにも適用できます。多くの証拠は、改善が安定化された特徴マップと損失ランドスケープの平滑化に起因する可能性があることを示唆しています。さらに、空間平滑化の特殊なケースとしてそれらに対処することにより、以前の作業(つまり、グローバル平均プーリング、事前アクティブ化、およびReLU6)の基本的な説明を提供します。これらは、精度を向上させるだけでなく、空間平滑化と同じ方法で損失ランドスケープをより滑らかにすることにより、不確実性の推定とロバスト性を向上させます。コードはhttps://github.com/xxxnell/spatial-smoothingで入手できます。
Neural network ensembles, such as Bayesian neural networks (BNNs), have shown success in the areas of uncertainty estimation and robustness. However, a crucial challenge prohibits their use in practice. BNNs require a large number of predictions to produce reliable results, leading to a significant increase in computational cost. To alleviate this issue, we propose spatial smoothing, a method that spatially ensembles neighboring feature map points of convolutional neural networks. By simply adding a few blur layers to the models, we empirically show that spatial smoothing improves accuracy, uncertainty estimation, and robustness of BNNs across a whole range of ensemble sizes. In particular, BNNs incorporating spatial smoothing achieve high predictive performance merely with a handful of ensembles. Moreover, this method also can be applied to canonical deterministic neural networks to improve the performances. A number of evidences suggest that the improvements can be attributed to the stabilized feature maps and the smoothing of the loss landscape. In addition, we provide a fundamental explanation for prior works - namely, global average pooling, pre-activation, and ReLU6 - by addressing them as special cases of spatial smoothing. These not only enhance accuracy, but also improve uncertainty estimation and robustness by making the loss landscape smoother in the same manner as spatial smoothing. The code is available at https://github.com/xxxnell/spatial-smoothing.
updated: Sun Feb 27 2022 19:07:04 GMT+0000 (UTC)
published: Wed May 26 2021 15:58:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト