arXiv reaDer
Generative and reproducible benchmarks for comprehensive evaluation of machine learning classifiers
機械学習(ML)アルゴリズムの長所と短所を理解することは、それらの適用範囲を決定するために重要です。ここでは、多様で生成的なMLベンチマーク(DIGEN)を紹介します。これは、バイナリ結果を分類するための機械学習アルゴリズムの包括的で再現性があり、解釈可能なベンチマークのための合成データセットのコレクションです。 DIGENリソースは、合成データセットを作成するために連続特徴を離散エンドポイントにマッピングする40の数学関数で構成されています。これらの40の関数は、複数の一般的な機械学習アルゴリズム間のパフォーマンスの多様性を最大化するように設計されたヒューリスティックアルゴリズムを使用して発見されたため、新しい方法を評価および比較するための便利なテストスイートを提供します。生成関数へのアクセスは、メソッドが他のアルゴリズムと比較してパフォーマンスが低い理由の理解を容易にし、改善のためのアイデアを提供します。広範なドキュメントと分析を備えたリソースはオープンソースであり、GitHubで入手できます。
Understanding the strengths and weaknesses of machine learning (ML) algorithms is crucial for determine their scope of application. Here, we introduce the DIverse and GENerative ML Benchmark (DIGEN) - a collection of synthetic datasets for comprehensive, reproducible, and interpretable benchmarking of machine learning algorithms for classification of binary outcomes. The DIGEN resource consists of 40 mathematical functions which map continuous features to discrete endpoints for creating synthetic datasets. These 40 functions were discovered using a heuristic algorithm designed to maximize the diversity of performance among multiple popular machine learning algorithms thus providing a useful test suite for evaluating and comparing new methods. Access to the generative functions facilitates understanding of why a method performs poorly compared to other algorithms thus providing ideas for improvement. The resource with extensive documentation and analyses is open-source and available on GitHub.
updated: Wed Jul 14 2021 03:58:02 GMT+0000 (UTC)
published: Wed Jul 14 2021 03:58:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト