arXiv reaDer
Enhancing Certifiable Robustness via a Deep Model Ensemble
 各基本モデルに最適な重み付けを行うことにより、ディープモデルアンサンブルの認定された堅牢性を強化するアルゴリズムを提案します。アンサンブルを使用してロバストネスを改善する以前の研究とは異なり、このアルゴリズムは、ニューラルネットワークの保証されたロバストネス証明書の最適化に基づいています。ロバスト性が保証された提案されたアンサンブルフレームワークRobBoostは、最適なモデル選択と重み付けタスクを、座標降下を使用して効率的に解決できる分類マージンの下限の最適化問題として定式化します。実験により、堅牢なトレーニングを受けたMNISTまたはCIFARベースモデルを使用して、利用可能なすべてのモデルを単純に平均化するよりも、アルゴリズムが堅牢なアンサンブルを形成できることがわかります。さらに、通常、アンサンブルはクリーンな(摂動されていない)データの精度が高くなっています。 RobBoostを使用すると、既に認定されたモデルのアンサンブルを作成することにより、認定された堅牢性とクリーンな精度をさらに向上させることができます。
We propose an algorithm to enhance certified robustness of a deep model ensemble by optimally weighting each base model. Unlike previous works on using ensembles to empirically improve robustness, our algorithm is based on optimizing a guaranteed robustness certificate of neural networks. Our proposed ensemble framework with certified robustness, RobBoost, formulates the optimal model selection and weighting task as an optimization problem on a lower bound of classification margin, which can be efficiently solved using coordinate descent. Experiments show that our algorithm can form a more robust ensemble than naively averaging all available models using robustly trained MNIST or CIFAR base models. Additionally, our ensemble typically has better accuracy on clean (unperturbed) data. RobBoost allows us to further improve certified robustness and clean accuracy by creating an ensemble of already certified models.
updated: Thu Oct 31 2019 17:48:33 GMT+0000 (UTC)
published: Thu Oct 31 2019 17:48:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト