画像間の類似性を認識することは、さまざまな視覚的生成タスクの根底にある長年の根本的な問題でした。主なアプローチは、ポイントごとの絶対偏差を計算することによって画像間の距離を測定します。これは、インスタンス分布の中央値を推定する傾向があり、生成された画像にぼやけやアーティファクトをもたらします。このホワイトペーパーでは、多面的な画像間距離を知覚するためのキャリブレーションされたメトリックを学習するために画像のコントラストを導入する多用途のメトリックであるMoNCEを紹介します。類似性に関係なくアンカーからネガティブサンプルを無差別にプッシュするバニラコントラストとは異なり、アンカーとの類似性に応じてネガティブサンプルのプッシュ力を適応的に再重み付けすることを提案します。これにより、有益なネガティブサンプルからの対照的な学習が容易になります。複数のパッチレベルの対照的な対物レンズが画像距離測定に関与しているため、MoNCEに最適なトランスポートを導入して、複数の対照的な対物レンズ間でネガティブサンプルの押し出し力を協調的に変調します。複数の画像変換タスクに関する広範な実験は、提案されたMoNCEがさまざまな一般的なメトリックを大幅に上回っていることを示しています。コードはhttps://github.com/fnzhan/MoNCEで入手できます。
Perceiving the similarity between images has been a long-standing and fundamental problem underlying various visual generation tasks. Predominant approaches measure the inter-image distance by computing pointwise absolute deviations, which tends to estimate the median of instance distributions and leads to blurs and artifacts in the generated images. This paper presents MoNCE, a versatile metric that introduces image contrast to learn a calibrated metric for the perception of multifaceted inter-image distances. Unlike vanilla contrast which indiscriminately pushes negative samples from the anchor regardless of their similarity, we propose to re-weight the pushing force of negative samples adaptively according to their similarity to the anchor, which facilitates the contrastive learning from informative negative samples. Since multiple patch-level contrastive objectives are involved in image distance measurement, we introduce optimal transport in MoNCE to modulate the pushing force of negative samples collaboratively across multiple contrastive objectives. Extensive experiments over multiple image translation tasks show that the proposed MoNCE outperforms various prevailing metrics substantially. The code is available at https://github.com/fnzhan/MoNCE.