OpenAI の GPT-4 によって実証された注目すべきマルチモーダル機能は、マルチモーダル大規模言語モデル (LLM) の開発に対する大きな関心を引き起こしました。このようなモデルの主な研究目的は、人間の指示を理解しながら、視覚的モダリティとテキストモダリティを効果的に調整することです。現在の方法論では、ベンチマーク データセットから得られたアノテーションに依存して、LLM の命令チューニングに似たトレーニング目的の画像対話データセットを構築することがよくあります。ただし、これらのデータセットはドメイン バイアスを示すことが多く、モデルの生成機能が制約される可能性があります。これらの制限を軽減するために、私たちは、視覚的な指示を調整するために画像と対話を同期的に合成する新しいデータ収集方法論を提案します。このアプローチは、生成モデルの力を利用し、ChatGPT とテキストから画像への生成モデルの機能を組み合わせて、さまざまな画像コンテンツを含む多様で制御可能なデータセットを生成します。これにより、既存の方法論と比較して柔軟性が向上するだけでなく、いくつかのモデルの機能も大幅に強化されます。私たちの研究には、オープンソースの LLAVA モデルを提案したパイプラインのテストベッドとして使用して、さまざまなデータセットに対して行われた包括的な実験が含まれています。私たちの結果は、一般的に評価された 10 を超える機能にわたって顕著な強化が行われたことを強調しています。
The remarkable multimodal capabilities demonstrated by OpenAI's GPT-4 have sparked significant interest in the development of multimodal Large Language Models (LLMs). A primary research objective of such models is to align visual and textual modalities effectively while comprehending human instructions. Current methodologies often rely on annotations derived from benchmark datasets to construct image-dialogue datasets for training purposes, akin to instruction tuning in LLMs. However, these datasets often exhibit domain bias, potentially constraining the generative capabilities of the models. In an effort to mitigate these limitations, we propose a novel data collection methodology that synchronously synthesizes images and dialogues for visual instruction tuning. This approach harnesses the power of generative models, marrying the abilities of ChatGPT and text-to-image generative models to yield a diverse and controllable dataset with varied image content. This not only provides greater flexibility compared to existing methodologies but also significantly enhances several model capabilities. Our research includes comprehensive experiments conducted on various datasets using the open-source LLAVA model as a testbed for our proposed pipeline. Our results underscore marked enhancements across more than ten commonly assessed capabilities,