Foundation モデルは大量のデータで事前にトレーニングされ、微調整によって下流のタスクに転送されます。この作業は、ビジョン ミドルウェア (ViM) を提示します。これは、単一の基盤モデルからさまざまなダウンストリーム タスクへの統一された転送を対象とする新しい学習パラダイムです。 ViM は軽量プラグイン モジュールの動物園で構成されており、それぞれが共有の凍結されたバックボーンを持つミッドストリーム データセットで個別に学習されます。下流のタスクは、中流のタスクから継承された豊富な知識のおかげで、モジュール ズーの適切な集約の恩恵を受けることができます。このような設計には 3 つの大きな利点があります。効率の観点から、アップストリーム バックボーンは 1 回だけトレーニングでき、チューニングなしですべてのダウンストリーム タスクに再利用できます。スケーラビリティの観点から、既存のモジュールに影響を与えることなく、追加のモジュールを ViM に簡単に追加できます。パフォーマンスの観点から、ViM はできるだけ多くの中間タスクを含めることができ、上流と下流の間のタスクのギャップを狭めます。これらの利点を考慮すると、コミュニティが一緒に維持および開発できる ViM は、基盤モデルを支援する強力なツールとして役立つと考えています。
Foundation models are pre-trained on massive data and transferred to downstream tasks via fine-tuning. This work presents Vision Middleware (ViM), a new learning paradigm that targets unified transferring from a single foundation model to a variety of downstream tasks. ViM consists of a zoo of lightweight plug-in modules, each of which is independently learned on a midstream dataset with a shared frozen backbone. Downstream tasks can then benefit from an adequate aggregation of the module zoo thanks to the rich knowledge inherited from midstream tasks. There are three major advantages of such a design. From the efficiency aspect, the upstream backbone can be trained only once and reused for all downstream tasks without tuning. From the scalability aspect, we can easily append additional modules to ViM with no influence on existing modules. From the performance aspect, ViM can include as many midstream tasks as possible, narrowing the task gap between upstream and downstream. Considering these benefits, we believe that ViM, which the community could maintain and develop together, would serve as a powerful tool to assist foundation models.