Vision-Language Transformersは、人間のラベル(クラスラベル、バウンディングボックスなど)なしで学習できることを示します。バウンディングボックスまたはパッチを明示的に利用するかどうかにかかわらず、既存の作業では、マルチモーダル言語パイプラインに統合する前に、ビジュアルバックボーンを最初にImageNetクラス予測でトレーニングする必要があると想定しています。これが不要であることを示し、この監視を必要としないマスクされたオートエンコーダーの上に構築された新しいモデルのビジョン-キャプションからの言語(VLC)を紹介します。実際、監視対象オブジェクト分類で事前トレーニングされた現在の最先端のパッチベースの視覚言語トランスフォーマーであるViLTと、モデルVLCとの直接比較では、アプローチ1 。標準ベンチマークでViLTを上回り、2。より解釈可能で直感的なパッチの視覚化を提供し、3。注釈付きの境界ボックスでトレーニングされたROIを利用する多くのより大きなモデルと競合します。
We show that Vision-Language Transformers can be learned without human labels (e.g. class labels, bounding boxes, etc). Existing work, whether explicitly utilizing bounding boxes or patches, assumes that the visual backbone must first be trained on ImageNet class prediction before being integrated into a multimodal linguistic pipeline. We show that this is not necessary and introduce a new model Vision-Language from Captions (VLC) built on top of Masked Auto-Encoders that does not require this supervision. In fact, in a head-to-head comparison between ViLT, the current state-of-the-art patch-based vision-language transformer which is pretrained with supervised object classification, and our model, VLC, we find that our approach 1. outperforms ViLT on standard benchmarks, 2. provides more interpretable and intuitive patch visualizations, and 3. is competitive with many larger models that utilize ROIs trained on annotated bounding-boxes.