半教師あり画像分類のためのビジョントランスフォーマーのトレーニングを研究します。トランスフォーマーは最近、多数の教師あり学習タスクで印象的なパフォーマンスを示しました。驚いたことに、VisionTransformerは半教師ありImageNet設定ではパフォーマンスが低いことがわかりました。対照的に、畳み込みニューラルネットワーク(CNN)は、小さなラベル付きデータレジームで優れた結果を達成します。さらなる調査により、その理由はCNNが強い空間誘導バイアスを持っていることが明らかになりました。この観察に触発されて、半教師あり学習フレームワークであるSemiformerを紹介します。これには、Transformerブランチ、Convolutionalブランチ、およびブランチ間で知識を共有するために慎重に設計された融合モジュールが含まれます。畳み込みブランチは、限定された監視ありデータでトレーニングされ、ラベルなしデータでのトランスフォーマーブランチのトレーニングを監視するための疑似ラベルを生成します。 ImageNetでの広範な実験は、Semiformerが75.5%のトップ1精度を達成し、最先端を上回っていることを示しています。さらに、Semiformerは、最新のTransformerおよび畳み込みニューラルアーキテクチャと互換性のある一般的なフレームワークであることを示します。
We study the training of Vision Transformers for semi-supervised image classification. Transformers have recently demonstrated impressive performance on a multitude of supervised learning tasks. Surprisingly, we find Vision Transformers perform poorly on a semi-supervised ImageNet setting. In contrast, Convolutional Neural Networks (CNNs) achieve superior results in small labeled data regime. Further investigation reveals that the reason is CNNs have strong spatial inductive bias. Inspired by this observation, we introduce a joint semi-supervised learning framework, Semiformer, which contains a Transformer branch, a Convolutional branch and a carefully designed fusion module for knowledge sharing between the branches. The Convolutional branch is trained on the limited supervised data and generates pseudo labels to supervise the training of the transformer branch on unlabeled data. Extensive experiments on ImageNet demonstrate that Semiformer achieves 75.5% top-1 accuracy, outperforming the state-of-the-art. In addition, we show Semiformer is a general framework which is compatible with most modern Transformer and Convolutional neural architectures.