この論文は、低レベルの画像復元および強調タスクのための対照学習(CL)に関係しています。残差、残差対照学習(RCL)に基づく新しいラベル効率の高い学習パラダイムを提案し、ノイズの多い入力を伴う低レベルの視覚タスクに適した教師なし視覚表現学習フレームワークを導出します。監視対象の画像再構成は残差項を直接最小化することを目的としていますが、RCLは、残差を識別機能として使用して、新しいインスタンス識別口実タスクを定義することにより、残差とCLの間の接続を構築します。私たちの定式化は、既存のCLフレームワークに存在する、インスタンス識別口実タスクとダウンストリーム画像再構成タスクの間の深刻なタスクの不整合を軽減します。実験的に、RCLは、ノイズの多い入力用に特別に設計された最近の自己監視方式と比較して、ノイズ除去や超解像などのさまざまなダウンストリームタスクのパフォーマンスを向上させる堅牢で転送可能な表現を学習できることがわかりました。さらに、教師なし事前トレーニングにより、完全に教師ありの画像再構成との競争力を維持しながら、注釈コストを大幅に削減できます。
This paper is concerned with contrastive learning (CL) for low-level image restoration and enhancement tasks. We propose a new label-efficient learning paradigm based on residuals, residual contrastive learning (RCL), and derive an unsupervised visual representation learning framework, suitable for low-level vision tasks with noisy inputs. While supervised image reconstruction aims to minimize residual terms directly, RCL alternatively builds a connection between residuals and CL by defining a novel instance discrimination pretext task, using residuals as the discriminative feature. Our formulation mitigates the severe task misalignment between instance discrimination pretext tasks and downstream image reconstruction tasks, present in existing CL frameworks. Experimentally, we find that RCL can learn robust and transferable representations that improve the performance of various downstream tasks, such as denoising and super resolution, in comparison with recent self-supervised methods designed specifically for noisy inputs. Additionally, our unsupervised pre-training can significantly reduce annotation costs whilst maintaining performance competitive with fully-supervised image reconstruction.