コンピューター ビジョンでは、対照学習は最も高度な教師なし学習フレームワークです。しかし、以前のほとんどの方法は、データ効率を改善するためにデータ拡張の固定構成を適用するだけであり、トレーニング中の最適な設定の変化を無視していました。したがって、拡張操作の事前定義されたパラメーターは、トレーニング期間全体で進化するネットワークに常にうまく適合するとは限らず、学習された表現の品質が低下します。この作業では、一般的な対照学習ネットワークに閉ループ フィードバック構造を実装する AdDA を提案します。 AddDA は、ネットワークがリアルタイムのフィードバックに従って拡張構成を適応的に調整できるようにすることで機能します。このオンライン調整は、動的な最適な構成を維持するのに役立ち、ネットワークが最小限の計算オーバーヘッドでより一般化可能な表現を取得できるようにします。 AddDA は、ImageNet-100 分類 (MoCo v2 で +1.11%) の一般的な線形プロトコルの下で競争力のある結果を達成しています。
In computer vision, contrastive learning is the most advanced unsupervised learning framework. Yet most previous methods simply apply fixed composition of data augmentations to improve data efficiency, which ignores the changes in their optimal settings over training. Thus, the pre-determined parameters of augmentation operations cannot always fit well with an evolving network during the whole training period, which degrades the quality of the learned representations. In this work, we propose AdDA, which implements a closed-loop feedback structure to a generic contrastive learning network. AdDA works by allowing the network to adaptively adjust the augmentation compositions according to the real-time feedback. This online adjustment helps maintain the dynamic optimal composition and enables the network to acquire more generalizable representations with minimal computational overhead. AdDA achieves competitive results under the common linear protocol on ImageNet-100 classification (+1.11% on MoCo v2).