教師あり学習では、ニューラルネットワークトレーニングでラベルまたは予測分布を平滑化することは、モデルの自信過剰を防ぐのに役立つことが証明されており、より堅牢な視覚的表現を学習するために重要です。この観察は、教師なし学習で予測を平坦化する方法を探求する動機を与えます。教師なし学習では人間の注釈付きラベルが採用されていないことを考慮して、出力予測空間を間接的に柔らかくするために入力画像空間を摂動させる簡単なアプローチを導入し、それに応じて教師なしフレームワークに新しいラベル値を割り当てます。概念が単純であるにもかかわらず、単純なソリューションである教師なし画像混合(Un-Mix)を使用すると、変換された入力からより堅牢な視覚的表現を学習できることを経験的に示します。 CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet、および一般的な教師なし手法SimCLR、BYOL、MoCo V1&V2などを使用した標準ImageNetで広範な実験が行われます。提案された画像混合とラベル割り当て戦略により、一貫した改善が1〜得られます。基本メソッドとまったく同じハイパーパラメータとトレーニング手順に従って3%。
In supervised learning, smoothing label or prediction distribution in neural network training has been proven useful in preventing the model from being over-confident, and is crucial for learning more robust visual representations. This observation motivates us to explore ways to make predictions flattened in unsupervised learning. Considering that human-annotated labels are not adopted in unsupervised learning, we introduce a straightforward approach to perturb input image space in order to soften the output prediction space indirectly, meanwhile, assigning new label values in the unsupervised frameworks accordingly. Despite its conceptual simplicity, we show empirically that with the simple solution -- Unsupervised image mixtures (Un-Mix), we can learn more robust visual representations from the transformed input. Extensive experiments are conducted on CIFAR-10, CIFAR-100, STL-10, Tiny ImageNet and standard ImageNet with popular unsupervised methods SimCLR, BYOL, MoCo V1&V2, etc. Our proposed image mixture and label assignment strategy can obtain consistent improvement by 1~3% following exactly the same hyperparameters and training procedures of the base methods.