視覚言語変換器は、人間による低レベルのラベル (クラス ラベル、境界ボックスなど) なしで学習できます。既存の研究では、バウンディング ボックスまたはパッチを明示的に利用するかどうかにかかわらず、ビジュアル バックボーンがマルチモーダル言語パイプラインに統合される前に、まず ImageNet クラス予測でトレーニングされる必要があると想定しています。我々は、これが必要ではないことを示し、この監視を必要としないマスクされた自動エンコーダーの上に構築された新しいモデル Vision-Language from Captions (VLC) を導入します。実際、教師付きオブジェクト分類で事前トレーニングされた最新のパッチベースの視覚言語変換機能である ViLT と、私たちのモデルである VLC を直接比較すると、私たちのアプローチは次のとおりです。 . 標準ベンチマークで ViLT よりも優れたパフォーマンスを示し、2. より解釈可能で直観的なパッチ視覚化を提供し、3. 注釈付き境界ボックスでトレーニングされた ROI を利用する多くの大規模モデルと競合します。
Vision-Language Transformers can be learned without low-level human labels (e.g. class labels, bounding boxes, etc). Existing work, whether explicitly utilizing bounding boxes or patches, assumes that the visual backbone must first be trained on ImageNet class prediction before being integrated into a multimodal linguistic pipeline. We show that this is not necessary and introduce a new model Vision-Language from Captions (VLC) built on top of Masked Auto-Encoders that does not require this supervision. In fact, in a head-to-head comparison between ViLT, the current state-of-the-art patch-based vision-language transformer which is pretrained with supervised object classification, and our model, VLC, we find that our approach 1. outperforms ViLT on standard benchmarks, 2. provides more interpretable and intuitive patch visualizations, and 3. is competitive with many larger models that utilize ROIs trained on annotated bounding-boxes.