arXiv reaDer
深層画像分類器における分布的にロバストなマルチクラス分類とアプリケーション
Distributionally Robust Multiclass Classification and Applications in Deep Image Classifiers
外れ値によって汚染されたデータを許容できるマルチクラス ロジスティック回帰 (MLR) の分散ロバスト最適化 (DRO) の定式化を開発します。 DRO フレームワークは、ワッサースタイン メトリックの意味でトレーニング セットの経験的分布に近い分布のボールとして定義される確率的曖昧性セットを使用します。 DRO の定式化を、正則化子が係数行列のノルムである正則化された学習問題に緩和します。モデルの解に対してサンプル外のパフォーマンス保証を確立し、予測エラーの制御におけるレギュラーライザーの役割に関する洞察を提供します。提案された方法を適用して、ディープ ビジョン トランスフォーマー (ViT) ベースの画像分類器をランダムな敵対的攻撃に対して堅牢にレンダリングします。具体的には、MNIST および CIFAR-10 データセットを使用して、新しいランダム トレーニング方法を採用することにより、ベースライン方法と比較して、テスト エラー率が最大 83.5% 減少し、損失が最大 91.3% 減少することを示しています。
We develop a Distributionally Robust Optimization (DRO) formulation for Multiclass Logistic Regression (MLR), which could tolerate data contaminated by outliers. The DRO framework uses a probabilistic ambiguity set defined as a ball of distributions that are close to the empirical distribution of the training set in the sense of the Wasserstein metric. We relax the DRO formulation into a regularized learning problem whose regularizer is a norm of the coefficient matrix. We establish out-of-sample performance guarantees for the solutions to our model, offering insights on the role of the regularizer in controlling the prediction error. We apply the proposed method in rendering deep Vision Transformer (ViT)-based image classifiers robust to random and adversarial attacks. Specifically, using the MNIST and CIFAR-10 datasets, we demonstrate reductions in test error rate by up to 83.5% and loss by up to 91.3% compared with baseline methods, by adopting a novel random training method.
updated: Sat Mar 25 2023 18:29:49 GMT+0000 (UTC)
published: Sat Oct 15 2022 05:09:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト