arXiv reaDer
Relative stability toward diffeomorphisms indicates performance in deep nets
ディープ ネットが大きな次元でデータを分類できる理由を理解することは、依然として課題です。それらは微分同相写像に対して安定になることによってそうすることが提案されてきましたが、既存の経験的測定は、そうでない場合が多いことを裏付けています。微分同相写像の最大エントロピー分布を定義することにより、この問題を再考します。これにより、特定のノルムの典型的な微分同相写像を研究できます。微分同相写像に対する安定性は、画像のベンチマーク データ セットのパフォーマンスと強く相関しないことを確認します。対照的に、一般的な変換 R_f の微分同相写像に対する安定性は、テスト エラー 据付_t と著しく相関していることがわかります。これは、初期化時には統一されていますが、最先端のアーキテクチャのトレーニング中に数十年減少します。 CIFAR10 および 15 の既知のアーキテクチャの場合、 we<0xCF><0xCF> _t≒0.2R_f が見つかりました。これは、優れたパフォーマンスを達成するには、小さな R_f を取得することが重要であることを示唆しています。 R_f がトレーニング セットのサイズにどのように依存するかを調べ、それを不変学習の単純なモデルと比較します。
Understanding why deep nets can classify data in large dimensions remains a challenge. It has been proposed that they do so by becoming stable to diffeomorphisms, yet existing empirical measurements support that it is often not the case. We revisit this question by defining a maximum-entropy distribution on diffeomorphisms, that allows to study typical diffeomorphisms of a given norm. We confirm that stability toward diffeomorphisms does not strongly correlate to performance on benchmark data sets of images. By contrast, we find that the stability toward diffeomorphisms relative to that of generic transformations R_f correlates remarkably with the test error ϵ_t. It is of order unity at initialization but decreases by several decades during training for state-of-the-art architectures. For CIFAR10 and 15 known architectures, we find ϵ_t≈0.2R_f, suggesting that obtaining a small R_f is important to achieve good performance. We study how R_f depends on the size of the training set and compare it to a simple model of invariant learning.
updated: Sat Jun 05 2021 13:18:12 GMT+0000 (UTC)
published: Thu May 06 2021 07:03:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト