arXiv reaDer
構成的同化:ビュー生成戦略による対照的学習パフォーマンスの向上
Constructive Assimilation: Boosting Contrastive Learning Performance through View Generation Strategies
ランダム サイズ変更クロップやカラー ジッターなどのドメインの専門知識 (エキスパート変換) に基づく変換は、SimCLR などの対照的な学習手法の成功にとって重要であることが証明されています。最近、このようなドメイン固有の人間が設計した変換を、学習された生成されたビューに置き換える試みがいくつか行われています。ただし、画像データの場合、これまでのところ、これらのビュー生成方法のいずれも、専門家による変換を上回ることはできませんでした。この作業では、別の質問に取り組みます。エキスパート変換を生成されたビューに置き換える代わりに、生成されたビューをエキスパート変換と建設的に同化できるでしょうか?この質問に肯定的に答え、3 つの異なるデータセットで最先端技術を最大 3.6% 向上させるビュー生成方法とシンプルで効果的な同化方法を提案します。重要なことは、一連のビュー生成および同化方法を体系的に分析し、対照的表現学習における学習ビューの有効性の全体像を提供する詳細な実証的研究を実施することです。
Transformations based on domain expertise (expert transformations), such as random-resized-crop and color-jitter, have proven critical to the success of contrastive learning techniques such as SimCLR. Recently, several attempts have been made to replace such domain-specific, human-designed transformations with generated views that are learned. However for imagery data, so far none of these view-generation methods has been able to outperform expert transformations. In this work, we tackle a different question: instead of replacing expert transformations with generated views, can we constructively assimilate generated views with expert transformations? We answer this question in the affirmative and propose a view generation method and a simple, effective assimilation method that together improve the state-of-the-art by up to ~3.6% on three different datasets. Importantly, we conduct a detailed empirical study that systematically analyzes a range of view generation and assimilation methods and provides a holistic picture of the efficacy of learned views in contrastive representation learning.
updated: Sat Apr 08 2023 22:26:50 GMT+0000 (UTC)
published: Sun Apr 02 2023 19:09:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト