arXiv reaDer
視覚的表現のための対照学習プレテキスト タスクの簡単な紹介
Brief Introduction to Contrastive Learning Pretext Tasks for Visual Representation
実用的なアプリケーションのために写真やビデオからの視覚的特徴表現のパフォーマンスを向上させるには、通常、ディープ ニューラル ネットワークのトレーニング中に、人間が注釈を付けた大規模なラベル付きデータが必要です。ただし、人間が注釈を付けたラベル付きデータを収集して注釈を付けるには、コストがかかります。実世界にはラベルのないデータがたくさんあることを考えると、この問題を防ぐための監視として、自己定義の疑似ラベルを導入することができます。自己教師あり学習、特に対照学習は、コンピューター ビジョン、自然言語処理、およびその他の分野で人気を博している教師なし学習方法のサブセットです。対照学習の目的は、同じサンプルの拡張サンプルを互いに近くに埋め込み、そうでないサンプルを押しのけることです。次のセクションでは、さまざまな学習の中で規則的な定式化を紹介します。次のセクションでは、さまざまな学習の定期的な定式化について説明します。さらに、最近公開された、視覚的表現のための口実タスクに焦点を当てた対照学習からのいくつかの戦略を提供します。
To improve performance in visual feature representation from photos or videos for practical applications, we generally require large-scale human-annotated labeled data while training deep neural networks. However, the cost of gathering and annotating human-annotated labeled data is expensive. Given that there is a lot of unlabeled data in the actual world, it is possible to introduce self-defined pseudo labels as supervisions to prevent this issue. Self-supervised learning, specifically contrastive learning, is a subset of unsupervised learning methods that has grown popular in computer vision, natural language processing, and other domains. The purpose of contrastive learning is to embed augmented samples from the same sample near to each other while pushing away those that are not. In the following sections, we will introduce the regular formulation among different learnings. In the next sections, we will discuss the regular formulation of various learnings. Furthermore, we offer some strategies from contrastive learning that have recently been published and are focused on pretext tasks for visual representation.
updated: Thu Oct 06 2022 18:54:10 GMT+0000 (UTC)
published: Thu Oct 06 2022 18:54:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト