arXiv reaDer
大規模な言語モデルに優れたビジュアル トークナイザーを実現するには何が必要ですか?
What Makes for Good Visual Tokenizers for Large Language Models?
私たちは、優れたビジュアルトークナイザーを構築するための適切な事前トレーニング方法を経験的に調査し、大規模言語モデル (LLM) を強力なマルチモーダル大規模言語モデル (MLLM) にします。 MLLM の視覚的意味理解ときめ細かい認識能力を評価するために厳選されたベンチマークでは、主要な手法 (つまり、DeiT、CLIP、MAE、DINO) で事前トレーニングされたさまざまな視覚的トークナイザーについて検討し、次のことを観察しました。 /弱教師モデルは自己教師モデルよりも多くのセマンティクスをキャプチャしますが、事前トレーニング データセットをスケールアップすることでギャップは狭まります。 ii) 自己教師ありモデルは、きめ細かい認識に優れており、パッチレベルの教師が特に効果的です。 iii) ビジュアル トークナイザーを調整すると、大規模な事前トレーニングから得られたセマンティクスが失われます。これは、比較的小規模な命令調整データセットでは好ましくありません。この発見を踏まえて、私たちはセマンティクスと詳細な視覚的理解を統合しようとする方法、たとえば、セマンティクスが豊富なターゲットを使用したパッチレベルの特徴の抽出をレビューしました。かつて大流行したマスクベースの戦略は、優れたビジュアルトークナイザーの取得には適用できない可能性があるという興味深い洞察を得ることができました。この重要な観察に基づいて、複数のスケールで強力な視覚的理解能力を示す、カスタマイズされた Good Visual Tokenizer (GVT) を備えた新しい MLLM を取得します。特に、GVT は、追加のパラメーターやタスク固有の微調整を導入することなく、視覚的な質問応答、画像キャプション、およびオブジェクトのカウントやマルチクラス識別などのその他のきめの細かい視覚的理解タスクで優れたパフォーマンスを実現します。
We empirically investigate proper pre-training methods to build good visual tokenizers, making Large Language Models (LLMs) powerful Multimodal Large Language Models (MLLMs). In our benchmark, which is curated to evaluate MLLMs visual semantic understanding and fine-grained perception capabilities, we discussed different visual tokenizers pre-trained with dominant methods (i.e., DeiT, CLIP, MAE, DINO), and observe that: i) Fully/weakly supervised models capture more semantics than self-supervised models, but the gap is narrowed by scaling up the pre-training dataset. ii) Self-supervised models are better at fine-grained perception, where patch-level supervision is particularly effective. iii) Tuning the visual tokenizer leads to the loss of semantics obtained from large-scale pretraining, which is unfavorable with relatively small-scale instruction-tuning dataset. Given the findings, we reviewed methods that attempted to unify semantics and fine-grained visual understanding, e.g., patch-level feature distillation with semantically-rich targets. We obtain an intriguing insight mask-based strategies that were once all the rage may not be applicable for obtaining good visual tokenizers. Based on this critical observation, we obtain a new MLLM equipped with a tailored Good Visual Tokenizer (GVT), which exhibits strong visual comprehension capability at multiple scales. In particular, without introducing extra parameters and task-specific fine-tuning, GVT achieves superior performance on visual question answering, image captioning, and other fine-grained visual understanding tasks such as object counting and multi-class identification.
updated: Tue May 23 2023 10:35:35 GMT+0000 (UTC)
published: Sat May 20 2023 16:11:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト