arXiv reaDer
Clustering by compression
 圧縮に基づくクラスタリングの新しい方法を紹介します。この方法では、サブジェクト固有の機能や背景知識は使用されず、次のように機能します。最初に、圧縮データファイルの長さから計算されたユニバーサル類似距離、正規化圧縮距離またはNCDを決定します(単独およびペアワイズ連結) 。第二に、階層的クラスタリング手法を適用します。 NCDは、特定のアプリケーション領域に限定されず、アプリケーション領域の境界を越えて機能するという点で汎用的です。著者の1人が共同開発した理論上の前兆である正規化された情報の距離は、証明できるほど最適ですが、コルモゴロフの複雑さの計算不可能な概念を使用しています。類似性メトリック、通常のコンプレッサーの正確な概念を提案し、通常のコンプレッサーに基づいたNCDは普遍性に近い類似性メトリックであることを示します。距離行列からクラスターの階層を抽出するために、新しいカルテット法とそれを実装するための高速なヒューリスティックによって樹状図(二分木)を決定します。この方法は、公開ソフトウェアとして実装されており、さまざまなコンプレッサーを選択しても堅牢です。普遍性と堅牢性の主張を実証するために、統計学、辞書、コンプレッサーを分類するブロック。ゲノミクスでは、哺乳類全体のゲノム分析に基づいて、哺乳類の進化における主要な疑問に対する新しい証拠を提示しました。ユーテリア派の秩序と、Theria仮説に対するMarsupionta仮説です。
We present a new method for clustering based on compression. The method doesn't use subject-specific features or background knowledge, and works as follows: First, we determine a universal similarity distance, the normalized compression distance or NCD, computed from the lengths of compressed data files (singly and in pairwise concatenation). Second, we apply a hierarchical clustering method. The NCD is universal in that it is not restricted to a specific application area, and works across application area boundaries. A theoretical precursor, the normalized information distance, co-developed by one of the authors, is provably optimal but uses the non-computable notion of Kolmogorov complexity. We propose precise notions of similarity metric, normal compressor, and show that the NCD based on a normal compressor is a similarity metric that approximates universality. To extract a hierarchy of clusters from the distance matrix, we determine a dendrogram (binary tree) by a new quartet method and a fast heuristic to implement it. The method is implemented and available as public software, and is robust under choice of different compressors. To substantiate our claims of universality and robustness, we report evidence of successful application in areas as diverse as genomics, virology, languages, literature, music, handwritten digits, astronomy, and combinations of objects from completely different domains, using statistical, dictionary, and block sorting compressors. In genomics we presented new evidence for major questions in Mammalian evolution, based on whole-mitochondrial genomic analysis: the Eutherian orders and the Marsupionta hypothesis against the Theria hypothesis.
updated: Fri Apr 09 2004 15:29:00 GMT+0000 (UTC)
published: Fri Dec 19 2003 18:41:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト