エラー訂正出力コード(ECOC)は、単純なバイナリ分類子をマルチクラス分類子に結合するための原則的なアプローチを提供します。このホワイトペーパーでは、サポートベクターマシン(SVM)とバイナリディープラーニングモデルを使用して、公称精度と敵対的精度の両方を達成するための最適なECOCを設計する問題を調査します。以前の文献とは対照的に、望ましいエラー訂正特性を備えた最小限のコードブックを設計するための整数計画法(IP)の定式化を示します。私たちの仕事は、IPソルバーの進歩を活用して、最適性が保証されたコードブックを生成します。扱いやすさを実現するために、IP定式化で設定された制約の基礎となるグラフ理論構造を活用します。これにより、エッジクリークカバーを使用して制約セットを大幅に減らすことができます。当社のコードブックは、標準のコードブック(たとえば、1対すべて、1対1、および密/疎コード)と比較して高い公称精度を実現します。また、ホワイトボックス設定でのECOCベースの分類器の敵対的精度を推定します。 IPで生成されたコードブックは、敵対的なトレーニングがなくても、敵対的な摂動に対して自明ではない堅牢性を提供します。
Error-Correcting Output Codes (ECOCs) offer a principled approach for combining simple binary classifiers into multiclass classifiers. In this paper, we investigate the problem of designing optimal ECOCs to achieve both nominal and adversarial accuracy using Support Vector Machines (SVMs) and binary deep learning models. In contrast to previous literature, we present an Integer Programming (IP) formulation to design minimal codebooks with desirable error correcting properties. Our work leverages the advances in IP solvers to generate codebooks with optimality guarantees. To achieve tractability, we exploit the underlying graph-theoretic structure of the constraint set in our IP formulation. This enables us to use edge clique covers to substantially reduce the constraint set. Our codebooks achieve a high nominal accuracy relative to standard codebooks (e.g., one-vs-all, one-vs-one, and dense/sparse codes). We also estimate the adversarial accuracy of our ECOC-based classifiers in a white-box setting. Our IP-generated codebooks provide non-trivial robustness to adversarial perturbations even without any adversarial training.