ランダム化平滑化 (RS) は、信頼性が証明された有望な手法であり、最近 RS では、複数のディープ ニューラル ネットワーク (DNN) のアンサンブルが最先端のパフォーマンスを示しています。ただし、このようなアンサンブルは、トレーニングと認定の両方で大きな計算負荷をもたらしますが、これらの分類子間の通信は一般に最適化では無視されるため、個々の DNN とそれらの相互効果を十分に活用できません。この作業では、単一の DNN から始めて、それぞれがアンサンブルの分類器に関連する複数のヘッドでネットワークを拡張します。それに応じて、新しいトレーニング戦略、つまりセルフペース循環指導 (SPACTE) が提案されています。 SPACTE は、これらの拡張されたヘッド間の循環通信フローを可能にします。つまり、各ヘッドは、認定された堅牢性に関連して特別に設計された平滑化された損失を使用して、自分のペースで学習することで隣人に教えます。展開されたマルチヘッド構造と SPACTE の循環教育スキームは、アンサンブル用の拡張ヘッドの分類子の多様化と強化に共同で貢献し、はるかに少ない計算コストで、複数の DNN をアンサンブルするよりもさらに強力な認定ロバスト性 (有効性) をもたらします (効率)、広範な実験と議論によって検証されました。
Randomized Smoothing (RS) is a promising technique for certified robustness, and recently in RS the ensemble of multiple deep neural networks (DNNs) has shown state-of-the-art performances. However, such an ensemble brings heavy computation burdens in both training and certification, and yet under-exploits individual DNNs and their mutual effects, as the communication between these classifiers is commonly ignored in optimization. In this work, starting from a single DNN, we augment the network with multiple heads, each of which pertains a classifier for the ensemble. A novel training strategy, namely Self-PAced Circular-TEaching (SPACTE), is proposed accordingly. SPACTE enables a circular communication flow among those augmented heads, i.e., each head teaches its neighbor with the self-paced learning using smoothed losses, which are specifically designed in relation to certified robustness. The deployed multi-head structure and the circular-teaching scheme of SPACTE jointly contribute to diversify and enhance the classifiers in augmented heads for ensemble, leading to even stronger certified robustness than ensembling multiple DNNs (effectiveness) at the cost of much less computational expenses (efficiency), verified by extensive experiments and discussions.