ソフトマックスクロスエントロピー損失関数は、さまざまなタスクのディープモデルをトレーニングするために広く使用されています。この作業では、視覚的分類のための深層ニューラルネットワークのガウス混合(GM)損失関数を提案します。ソフトマックスクロスエントロピー損失とは異なり、私たちの方法は、ガウス混合分布に向けて深い特徴空間を明示的に形成します。分類マージンと尤度正則化により、GM損失は、高い分類パフォーマンスと特徴分布の正確なモデリングの両方を容易にします。 GM損失は、入力の特徴分布とトレーニングセットの間の不一致に基づいて、敵対的な例などの異常な入力を区別するために簡単に使用できます。さらに、理論的分析では、GM損失を使用することで対称的な特徴空間を実現できることが示されています。これにより、モデルは敵対的な攻撃に対して堅牢に実行できます。提案されたモデルは、追加のトレーニング可能なパラメーターを使用せずに、簡単かつ効率的に実装できます。広範な評価は、提案された方法が画像分類だけでなく、さまざまな脅威モデルの下での強力な攻撃によって生成された敵対的な例の堅牢な検出でも良好に機能することを示しています。
The softmax cross-entropy loss function has been widely used to train deep models for various tasks. In this work, we propose a Gaussian mixture (GM) loss function for deep neural networks for visual classification. Unlike the softmax cross-entropy loss, our method explicitly shapes the deep feature space towards a Gaussian Mixture distribution. With a classification margin and a likelihood regularization, the GM loss facilitates both high classification performance and accurate modeling of the feature distribution. The GM loss can be readily used to distinguish abnormal inputs, such as the adversarial examples, based on the discrepancy between feature distributions of the inputs and the training set. Furthermore, theoretical analysis shows that a symmetric feature space can be achieved by using the GM loss, which enables the models to perform robustly against adversarial attacks. The proposed model can be implemented easily and efficiently without using extra trainable parameters. Extensive evaluations demonstrate that the proposed method performs favorably not only on image classification but also on robust detection of adversarial examples generated by strong attacks under different threat models.