新しいきめ細かいデータセットとベンチマークであるデンマークの真菌2020(DF20)を紹介します。デンマークの真菌アトラスに提出された観測から構築されたデータセットは、分類法が正確なクラスラベル、少数のエラー、非常に不均衡なロングテールクラス分布、豊富な観測メタデータ、および明確に定義されたクラス階層においてユニークです。 DF20はImageNetとの重なりがゼロであるため、公開されているImageNetチェックポイントから微調整されたモデルを公平に比較できます。提案された評価プロトコルは、メタデータを使用して分類を改善する機能のテストを可能にします。たとえば、正確な地理的位置、生息地、基質、分類器のキャリブレーションテストを容易にし、最後に分類パフォーマンスに対するデバイス設定の影響を調査できます。畳み込みニューラルネットワーク(CNN)と最近のビジョントランスフォーマー(ViT)を使用した実験は、DF20が困難なタスクを提示することを示しています。興味深いことに、ViTは81.25%の精度でCNNベースラインよりも優れた結果を達成し、CNNエラーを13%削減します。メタデータを意思決定プロセスに含めるためのベースライン手順により、分類の精度が3.5パーセントポイント以上向上し、エラー率が20%減少します。すべてのメソッドと実験のソースコードは、https://sites.google.com/view/danish-fungi-datasetで入手できます。
We introduce a novel fine-grained dataset and benchmark, the Danish Fungi 2020 (DF20). The dataset, constructed from observations submitted to the Danish Fungal Atlas, is unique in its taxonomy-accurate class labels, small number of errors, highly unbalanced long-tailed class distribution, rich observation metadata, and well-defined class hierarchy. DF20 has zero overlap with ImageNet, allowing unbiased comparison of models fine-tuned from publicly available ImageNet checkpoints. The proposed evaluation protocol enables testing the ability to improve classification using metadata -- e.g. precise geographic location, habitat, and substrate, facilitates classifier calibration testing, and finally allows to study the impact of the device settings on the classification performance. Experiments using Convolutional Neural Networks (CNN) and the recent Vision Transformers (ViT) show that DF20 presents a challenging task. Interestingly, ViT achieves results superior to CNN baselines with 81.25% accuracy, reducing the CNN error by 13%. A baseline procedure for including metadata into the decision process improves the classification accuracy by more than 3.5 percentage points, reducing the error rate by 20%. The source code for all methods and experiments is available at https://sites.google.com/view/danish-fungi-dataset.