arXiv reaDer
Cold Case: The Lost MNIST Digits
 人気のあるMNISTデータセット[LeCun et al。、1994]はNISTデータベース[Grother and Hanaoka、1995]から派生していますが、この派生のための正確な処理ステップは時間の経過とともに失われています。 MNISTデータセットの置き換えとして機能するのに十分な精度で、精度にわずかな変更を加えた再構成を提案します。各MNIST数字をそのNISTソースおよびライター識別子、パーティション識別子などの豊富なメタデータまでトレースします。また、通常の10,000個ではなく60,000個のサンプルで完全なMNISTテストセットを再構築します。バランス50,000は分配されなかったため、25年間のMNIST実験が報告されたテストパフォーマンスに与える影響を調査できます。我々の結果は、Recht等によって観察された傾向を明確に確認しています。 [2018年、2019年]:誤分類率はわずかに外れていますが、分類子の順序付けとモデル選択はほぼ信頼できるままです。この現象は、同じ数字の分類子を比較するペアリングの利点に起因します。
Although the popular MNIST dataset [LeCun et al., 1994] is derived from the NIST database [Grother and Hanaoka, 1995], the precise processing steps for this derivation have been lost to time. We propose a reconstruction that is accurate enough to serve as a replacement for the MNIST dataset, with insignificant changes in accuracy. We trace each MNIST digit to its NIST source and its rich metadata such as writer identifier, partition identifier, etc. We also reconstruct the complete MNIST test set with 60,000 samples instead of the usual 10,000. Since the balance 50,000 were never distributed, they enable us to investigate the impact of twenty-five years of MNIST experiments on the reported testing performances. Our results unambiguously confirm the trends observed by Recht et al. [2018, 2019]: although the misclassification rates are slightly off, classifier ordering and model selection remain broadly reliable. We attribute this phenomenon to the pairing benefits of comparing classifiers on the same digits.
updated: Mon Nov 04 2019 21:05:26 GMT+0000 (UTC)
published: Sat May 25 2019 01:50:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト