arXiv reaDer
CDF Transform-and-Shift:不均一なクラスター密度のデータセットを処理する効果的な方法
CDF Transform-and-Shift: An effective way to deal with datasets of inhomogeneous cluster densities
不均一なクラスター密度の問題は、クラスタリングおよび異常検出における距離ベースおよび密度ベースのアルゴリズムの長年の問題でした。これらのアルゴリズムは、すべてのクラスターの密度がほぼ同じであることを暗黙的に想定しています。結果として、それらはしばしば、疎なクラスターの存在下で密なクラスターへのバイアスを示します。多くの救済策が提案されています。それでも、これらは問題に十分に対処していない部分的な解決策であることを示しています。暗黙の仮定に一致させるために、変換されたクラスターがほぼ同じ密度を持ち、局所的に低密度のすべての領域が全体的に低密度になるように、特定のデータセットを変換することを提案します-データセットのクラスター構造を維持しながらクラスター密度を均質化します。これは、変換とシフトの方法で新しい多次元累積分布関数を使用することで実現できることを示します。この方法は、データセットが多くの既存のアルゴリズムで使用され、アルゴリズムを変更せずに暗黙の仮定と一致する前に、すべてのデータセットに適用できます。提案された方法が既存の治療法よりも優れていることを示します。
The problem of inhomogeneous cluster densities has been a long-standing issue for distance-based and density-based algorithms in clustering and anomaly detection. These algorithms implicitly assume that all clusters have approximately the same density. As a result, they often exhibit a bias towards dense clusters in the presence of sparse clusters. Many remedies have been suggested; yet, we show that they are partial solutions which do not address the issue satisfactorily. To match the implicit assumption, we propose to transform a given dataset such that the transformed clusters have approximately the same density while all regions of locally low density become globally low density -- homogenising cluster density while preserving the cluster structure of the dataset. We show that this can be achieved by using a new multi-dimensional Cumulative Distribution Function in a transform-and-shift method. The method can be applied to every dataset, before the dataset is used in many existing algorithms to match their implicit assumption without algorithmic modification. We show that the proposed method performs better than existing remedies.
updated: Mon Apr 12 2021 04:27:35 GMT+0000 (UTC)
published: Fri Oct 05 2018 22:32:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト