arXiv reaDer
Matryoshka Representation Learning
学習表現は、最新の ML システムの中心的なコンポーネントであり、多数のダウンストリーム タスクを処理します。このような表現をトレーニングする場合、多くの場合、下流の各タスクの計算および統計上の制約が不明です。この文脈では、硬直的で固定容量の表現は、目の前のタスクに過剰に適応することも、過小に適応することもできます。これにより、さまざまな計算リソースを使用する複数のダウンストリーム タスクに適応できる柔軟な表現を設計できるかという疑問が生じます。私たちの主な貢献は、Matryoshka Representation Learning (MRL) です。これは、さまざまな粒度で情報をエンコードし、単一の埋め込みをダウンストリーム タスクの計算上の制約に適応させることを可能にします。 MRL は、既存の表現学習パイプラインを最小限に変更し、推論と展開中に追加コストを課しません。 MRL は、独立してトレーニングされた低次元表現と少なくとも同じくらい正確で豊富な粗い表現から細かい表現までを学習します。学習されたマトリョーシカ表現内の柔軟性は、以下を提供します。(a) 同じレベルの精度で ImageNet-1K 分類の埋め込みサイズを最大 14 倍小さくします。 (b) ImageNet-1K および 4K での大規模な検索では、実世界で最大 14 倍のスピードアップ。 (c) 元の表現と同じくらい堅牢でありながら、ロングテール フューズ ショット分類の精度が最大 2% 向上します。最後に、MRL がさまざまなモダリティ (ビジョン (ViT、ResNet)、ビジョン + 言語 (ALIGN)、および言語 (BERT)) にわたって Web スケールのデータセット (ImageNet、JFT) にシームレスに拡張されることを示します。 MRL コードと事前トレーニング済みモデルは、 でオープンソース化されています。
Learned representations are a central component in modern ML systems, serving a multitude of downstream tasks. When training such representations, it is often the case that computational and statistical constraints for each downstream task are unknown. In this context rigid, fixed capacity representations can be either over or under-accommodating to the task at hand. This leads us to ask: can we design a flexible representation that can adapt to multiple downstream tasks with varying computational resources? Our main contribution is Matryoshka Representation Learning (MRL) which encodes information at different granularities and allows a single embedding to adapt to the computational constraints of downstream tasks. MRL minimally modifies existing representation learning pipelines and imposes no additional cost during inference and deployment. MRL learns coarse-to-fine representations that are at least as accurate and rich as independently trained low-dimensional representations. The flexibility within the learned Matryoshka Representations offer: (a) up to 14x smaller embedding size for ImageNet-1K classification at the same level of accuracy; (b) up to 14x real-world speed-ups for large-scale retrieval on ImageNet-1K and 4K; and (c) up to 2% accuracy improvements for long-tail few-shot classification, all while being as robust as the original representations. Finally, we show that MRL extends seamlessly to web-scale datasets (ImageNet, JFT) across various modalities -- vision (ViT, ResNet), vision + language (ALIGN) and language (BERT). MRL code and pretrained models are open-sourced at
updated: Thu Feb 08 2024 03:21:26 GMT+0000 (UTC)
published: Thu May 26 2022 04:33:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト