arXiv reaDer
深い分類器が同意する場合:学習順序と画像統計の間の相関の分析
When Deep Classifiers Agree: Analyzing Correlations between Learning Order and Image Statistics
深い分類のための多数のアーキテクチャのバリエーションが時間の経過とともに導入されてきましたが、最近の研究では、トレーニングプロセスの類似性に向けた経験的証拠が見つかりました。ニューラルネットワークは、同様の表現に収束するだけでなく、データインスタンスが最初に学習されるという経験的合意の概念も示すという仮説が立てられています。後者の作業の足跡をたどって、時間の経過に伴うそのような分類合意間の関係を定量化するためのメトリックを定義し、合意現象を調査対象のデータセットのコア統計にマッピングできると仮定します。この仮説は、CIFAR10、Pascal、ImageNet、およびKTH-TIPS2データセット全体で経験的に裏付けられています。私たちの調査結果は、画像統計による順序に従っているにもかかわらず、合意は特定のアーキテクチャ、トレーニングハイパーパラメータまたはラベルとは無関係であるように見えることを示しています。
Although a plethora of architectural variants for deep classification has been introduced over time, recent works have found empirical evidence towards similarities in their training process. It has been hypothesized that neural networks converge not only to similar representations, but also exhibit a notion of empirical agreement on which data instances are learned first. Following in the latter works' footsteps, we define a metric to quantify the relationship between such classification agreement over time, and posit that the agreement phenomenon can be mapped to core statistics of the investigated dataset. We empirically corroborate this hypothesis across the CIFAR10, Pascal, ImageNet and KTH-TIPS2 datasets. Our findings indicate that agreement seems to be independent of specific architectures, training hyper-parameters or labels, albeit follows an ordering according to image statistics.
updated: Tue Jul 19 2022 14:08:42 GMT+0000 (UTC)
published: Wed May 19 2021 09:03:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト