自己教師あり学習の最近の進歩により、教師あり表現学習と教師なし表現学習の間のギャップが減少しました。ただし、ほとんどの自己監視型のディープクラスタリング手法は、データ拡張に大きく依存しているため、拡張を実行するためのドメイン知識が不十分な多くの学習タスクでは効果がありません。ドメインにとらわれないクラスタリングのための新しい自己蒸留ベースのアルゴリズムを提案します。私たちの方法は、既存のディープクラスタリングフレームワークに基づいて構築されており、個別の学生モデルを必要としません。提案された方法は、CIFAR-10の既存のドメインにとらわれない(拡張のない)アルゴリズムよりも優れています。知識蒸留は、予測ラベルのみを使用するよりもモデルからより豊富な「暗い知識」を抽出することにより、教師なし表現学習を改善できることを経験的に示しています。予備実験では、自己蒸留によってDeepCluster-v2の収束が改善されることも示唆されています。
Recent advancements in self-supervised learning have reduced the gap between supervised and unsupervised representation learning. However, most self-supervised and deep clustering techniques rely heavily on data augmentation, rendering them ineffective for many learning tasks where insufficient domain knowledge exists for performing augmentation. We propose a new self-distillation based algorithm for domain-agnostic clustering. Our method builds upon the existing deep clustering frameworks and requires no separate student model. The proposed method outperforms existing domain agnostic (augmentation-free) algorithms on CIFAR-10. We empirically demonstrate that knowledge distillation can improve unsupervised representation learning by extracting richer `dark knowledge' from the model than using predicted labels alone. Preliminary experiments also suggest that self-distillation improves the convergence of DeepCluster-v2.