arXiv reaDer
Unified Regularity Measures for Sample-wise Learning and Generalization
基本的な機械学習理論は、さまざまなサンプルが学習プロセスとテストプロセスの両方で不平等に寄与することを示しています。 DNNに関する現代の研究は、そのようなサンプルの違いは、固有のパターン情報の分布、つまりサンプルの規則性に根ざしていることを示唆しています。ネットワークの記憶と一般化に関する最近の発見に動機付けられて、定式化に一貫した表現を使用して、両方のプロセスのサンプル規則性測定のペアを提案しました。具体的には、累積バイナリトレーニング/一般化損失(CBTL / CBGL)、トレーニング段階内のトレーニング/テストサンプルの正しい分類の累積数が、記憶-一般化プロセスの安定性を定量化するために提案されます。忘却/誤一般化イベント、つまり、以前に学習または一般化されたサンプルの誤分類は、最適化ダイナミクスに関するサンプルの規則性の不確実性を表すために使用されます。実験により、ミニバッチSGD最適化のために提案されたアプローチの有効性と堅牢性が検証されました。トレーニング/テストサンプル選択に関するさらなるアプリケーションは、統一されたコンピューティング手順を共有する提案された対策が両方のタスクに利益をもたらす可能性があることを示しています。
Fundamental machine learning theory shows that different samples contribute unequally both in learning and testing processes. Contemporary studies on DNN imply that such sample di?erence is rooted on the distribution of intrinsic pattern information, namely sample regularity. Motivated by the recent discovery on network memorization and generalization, we proposed a pair of sample regularity measures for both processes with a formulation-consistent representation. Specifically, cumulative binary training/generalizing loss (CBTL/CBGL), the cumulative number of correct classi?cations of the training/testing sample within training stage, is proposed to quantize the stability in memorization-generalization process; while forgetting/mal-generalizing events, i.e., the mis-classification of previously learned or generalized sample, are utilized to represent the uncertainty of sample regularity with respect to optimization dynamics. Experiments validated the effectiveness and robustness of the proposed approaches for mini-batch SGD optimization. Further applications on training/testing sample selection show the proposed measures sharing the uni?ed computing procedure could benefit for both tasks.
updated: Mon Aug 09 2021 10:11:14 GMT+0000 (UTC)
published: Mon Aug 09 2021 10:11:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト