最新の自然言語処理(NLP)手法では、マスクされた言語モデリングなどの自己教師あり事前トレーニングの目的を採用して、さまざまなアプリケーションタスクのパフォーマンスを向上させます。これらの事前トレーニング方法は、再発、敵対的または言語的特性のマスキング、そして最近では対照的な学習目標によって拡張されることがよくあります。対照的な自己教師ありトレーニングの目的は、拡張画像の入力と入力のペアを類似または非類似として対比することを学習することにより、画像表現の事前トレーニングにおける最近の成功を可能にしました。ただし、NLPでは、単一のトークンで文の意味を反転できるため、テキスト入力拡張の自動作成は依然として非常に困難です。このため、いくつかの対照的なNLP事前トレーニング方法は、メトリック学習およびエネルギーベースモデルの方法を使用して、入力と入力のペアではなく、入力とラベルのペアを対比します。この調査では、最近の自己監視および教師あり対照NLP事前トレーニング方法を要約し、言語モデリング、少数またはゼロショット学習、事前トレーニングデータ効率、および特定のNLPエンドタスクを改善するためにそれらが使用される場所について説明します。アプリケーションとクロスフィールド関係による以前の研究と構造作業から学んだ教訓を用いて、重要な対照学習の概念を紹介します。最後に、対照的なNLPの事前トレーニングを画像表現の事前トレーニングの最近の成功に近づけることを奨励するために、対照的なNLPの未解決の課題と将来の方向性を指摘します。
Modern natural language processing (NLP) methods employ self-supervised pretraining objectives such as masked language modeling to boost the performance of various application tasks. These pretraining methods are frequently extended with recurrence, adversarial or linguistic property masking, and more recently with contrastive learning objectives. Contrastive self-supervised training objectives enabled recent successes in image representation pretraining by learning to contrast input-input pairs of augmented images as either similar or dissimilar. However, in NLP, automated creation of text input augmentations is still very challenging because a single token can invert the meaning of a sentence. For this reason, some contrastive NLP pretraining methods contrast over input-label pairs, rather than over input-input pairs, using methods from Metric Learning and Energy Based Models. In this survey, we summarize recent self-supervised and supervised contrastive NLP pretraining methods and describe where they are used to improve language modeling, few or zero-shot learning, pretraining data-efficiency and specific NLP end-tasks. We introduce key contrastive learning concepts with lessons learned from prior research and structure works by applications and cross-field relations. Finally, we point to open challenges and future directions for contrastive NLP to encourage bringing contrastive NLP pretraining closer to recent successes in image representation pretraining.