この論文は、スケッチから光への合成のための敵対的オープンドメイン適応フレームワークの効率を実証することを目的としています。手描きのスケッチからリアルな写真を生成するための教師なしオープンドメインの適応は、データをトレーニングするためのそのクラスのそのようなスケッチがないため、困難です。学習監督がなく、フリーハンドの描画ドメインと画像ドメインの両方の間に大きなドメインギャップがあるため、困難になっています。写真から欠落しているフリーハンドの図面を合成するために、スケッチから写真への生成と写真からスケッチへの生成の両方を学習するアプローチを提示します。合成スケッチと本物のスケッチの間のドメインギャップのために、誤った図面でトレーニングされたジェネレータは、クラスが不足している図面を処理するときに不十分な結果を生成する可能性があります。この問題に対処するために、ジェネレータをだまして誤った図面を本物と見なす、シンプルで効果的なオープンドメインのサンプリングおよび最適化手法を提供します。私たちのアプローチは、ドメイン内入力からオープンドメインカテゴリへの学習されたスケッチから写真へのマッピングと写真からスケッチへのマッピングを一般化します。 ScribbleおよびSketchyCOCOデータセットで、私たちの手法を最新の競合する手法と比較しました。多くの種類のオープンドメイン図面で、私たちのモデルは、正確な色、実体を合成し、構造レイアウトを維持するという点で、印象的な結果を上回っています。
This paper aims to demonstrate the efficiency of the Adversarial Open Domain Adaption framework for sketch-to-photo synthesis. The unsupervised open domain adaption for generating realistic photos from a hand-drawn sketch is challenging as there is no such sketch of that class for training data. The absence of learning supervision and the huge domain gap between both the freehand drawing and picture domains make it hard. We present an approach that learns both sketch-to-photo and photo-to-sketch generation to synthesise the missing freehand drawings from pictures. Due to the domain gap between synthetic sketches and genuine ones, the generator trained on false drawings may produce unsatisfactory results when dealing with drawings of lacking classes. To address this problem, we offer a simple but effective open-domain sampling and optimization method that tricks the generator into considering false drawings as genuine. Our approach generalises the learnt sketch-to-photo and photo-to-sketch mappings from in-domain input to open-domain categories. On the Scribble and SketchyCOCO datasets, we compared our technique to the most current competing methods. For many types of open-domain drawings, our model outperforms impressive results in synthesising accurate colour, substance, and retaining the structural layout.