arXiv reaDer
Inverse Problems Leveraging Pre-trained Contrastive Representations
破損したデータの表現を回復するための逆問題の新しいファミリーを研究します。 CLIPのようなクリーンな画像で動作する事前トレーニング済みの表現学習ネットワークR(x)へのアクセスを想定しています。問題は、破損したバージョンA(x)のみが与えられた場合に、既知のフォワード演算子Aの画像R(x)の表現を復元することです。対照的な目的を使用して優れた表現を取得する教師あり反転法を提案します。非常に破損した画像の場合。堅牢な表現で線形プローブを使用することで、ブラー、加法性ノイズ、ランダムピクセルマスキングなど、さまざまな種類の歪みのある画像を分類するときに、エンドツーエンドの監視対象ベースラインよりも高い精度を実現します。 ImageNetのサブセットで評価し、この方法がさまざまなレベルの歪みに対してロバストであることを確認します。私たちの方法は、広範囲のフォワード演算子でラベル付けされたデータの一部を使用しても、エンドツーエンドのベースラインを上回ります。
We study a new family of inverse problems for recovering representations of corrupted data. We assume access to a pre-trained representation learning network R(x) that operates on clean images, like CLIP. The problem is to recover the representation of an image R(x), if we are only given a corrupted version A(x), for some known forward operator A. We propose a supervised inversion method that uses a contrastive objective to obtain excellent representations for highly corrupted images. Using a linear probe on our robust representations, we achieve a higher accuracy than end-to-end supervised baselines when classifying images with various types of distortions, including blurring, additive noise, and random pixel masking. We evaluate on a subset of ImageNet and observe that our method is robust to varying levels of distortion. Our method outperforms end-to-end baselines even with a fraction of the labeled data in a wide range of forward operators.
updated: Thu Oct 14 2021 15:06:30 GMT+0000 (UTC)
published: Thu Oct 14 2021 15:06:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト