arXiv reaDer
内部クラスター検証のための距離ベースの分離可能性測定
A Distance-based Separability Measure for Internal Cluster Validation
クラスタリングの結果を評価することは、クラスター分析の重要な部分です。通常の教師なし学習にはクラスタリング用の真のクラスラベルがないため、予測されたラベルとデータを使用する多くの内部クラスター妥当性インデックス(CVI)が作成されています。真のラベルがないと、効果的なCVIを設計することは、クラスタリング手法を作成することと同じくらい困難です。また、すべてのデータセットを測定するために使用できるユニバーサルCVIがなく、真のラベルのないクラスターに適切なCVIを選択する特定の方法がないため、CVIを増やすことが重要です。したがって、クラスタリングの結果を評価するためにさまざまなCVIを適用する必要があります。この論文では、データの分離可能性の尺度に基づいて、新しい内部CVIである距離ベースの分離可能性インデックス(DSI)を提案します。 12の実データセットと97の合成データセットに対する5つのクラスタリングアルゴリズムのクラスタリング結果を使用して、DSIを8つの内部CVIと比較しました。これには、初期のDunn(1974)から最新のCVDD(2019)までの研究とグラウンドトゥルースとしての外部CVIが含まれます。結果は、DSIが他の比較されたCVIに対して効果的で、ユニークで、競争力のあるCVIであることを示しています。また、CVIを評価するための一般的なプロセスを要約し、CVIの結果を比較するためのランク差メトリックを作成しました。
To evaluate clustering results is a significant part of cluster analysis. Since there are no true class labels for clustering in typical unsupervised learning, many internal cluster validity indices (CVIs), which use predicted labels and data, have been created. Without true labels, to design an effective CVI is as difficult as to create a clustering method. And it is crucial to have more CVIs because there are no universal CVIs that can be used to measure all datasets and no specific methods of selecting a proper CVI for clusters without true labels. Therefore, to apply a variety of CVIs to evaluate clustering results is necessary. In this paper, we propose a novel internal CVI -- the Distance-based Separability Index (DSI), based on a data separability measure. We compared the DSI with eight internal CVIs including studies from early Dunn (1974) to most recent CVDD (2019) and an external CVI as ground truth, by using clustering results of five clustering algorithms on 12 real and 97 synthetic datasets. Results show DSI is an effective, unique, and competitive CVI to other compared CVIs. We also summarized the general process to evaluate CVIs and created the rank-difference metric for comparison of CVIs' results.
updated: Thu Jun 17 2021 20:19:50 GMT+0000 (UTC)
published: Thu Jun 17 2021 20:19:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト