この作業では、グローバルおよびローカルの注意を意識した視覚的特徴を生成するための自己教師あり学習の新しい方法論を提案します。私たちのアプローチは、入力サンプルの特定の画像変換とパッチを適用した画像を区別するためのモデルのトレーニングに基づいています。このアプローチを利用することで、提案された方法は、Tiny-ImageNetデータセットで1.03%、STL-10データセットで2.32%、以前の最高の競合他社を上回ることができます。さらに、私たちのアプローチは、STL-10データセットの完全教師あり学習方法よりも優れています。実験結果と視覚化は、グローバルおよびローカルの注意を意識した視覚的表現をうまく学習する能力を示しています。
In this work, we propose a novel methodology for self-supervised learning for generating global and local attention-aware visual features. Our approach is based on training a model to differentiate between specific image transformations of an input sample and the patched images. Utilizing this approach, the proposed method is able to outperform the previous best competitor by 1.03% on the Tiny-ImageNet dataset and by 2.32% on the STL-10 dataset. Furthermore, our approach outperforms the fully-supervised learning method on the STL-10 dataset. Experimental results and visualizations show the capability of successfully learning global and local attention-aware visual representations.