このホワイトペーパーは、大規模マージントレーニングの最近の進歩とその理論的基盤の調査として役立ちます。主に、過去10年間でコミュニティの大規模データの最も著名な機械学習モデルである(非線形)ディープニューラルネットワーク(DNN)を対象としています。 。古典的な研究から最新のDNNまでの分類マージンの定式化を一般化し、マージン、ネットワークの一般化、および堅牢性の間の理論的な関係を要約し、DNNのマージンを包括的に拡大する最近の取り組みを紹介します。異なる方法の観点は矛盾しているため、比較と議論を容易にするために、それらをグループに分類します。うまくいけば、私たちの議論と概要が、DNNのパフォーマンスを改善することを目的としたコミュニティでの新しい研究作業を刺激し、DNNの特定の正則化が実際にうまく機能する理由の理論的証拠を提供するために大きなマージンの原則を検証できる方向を示します。大マージン学習と関連する方法の重要な精神がより強調されるように、私たちはなんとか論文を短くすることができました。
This paper serves as a survey of recent advances in large margin training and its theoretical foundations, mostly for (nonlinear) deep neural networks (DNNs) that are probably the most prominent machine learning models for large-scale data in the community over the past decade. We generalize the formulation of classification margins from classical research to latest DNNs, summarize theoretical connections between the margin, network generalization, and robustness, and introduce recent efforts in enlarging the margins for DNNs comprehensively. Since the viewpoint of different methods is discrepant, we categorize them into groups for ease of comparison and discussion in the paper. Hopefully, our discussions and overview inspire new research work in the community that aim to improve the performance of DNNs, and we also point to directions where the large margin principle can be verified to provide theoretical evidence why certain regularizations for DNNs function well in practice. We managed to shorten the paper such that the crucial spirit of large margin learning and related methods are better emphasized.