教師なしの画像から画像への変換方法は、特定のクラスの画像を異なるクラスの類似画像にマッピングし、画像の非構造化(登録されていない)データセットを描画することを学習します。現在の方法は非常に成功していますが、トレーニング時にソースクラスとデスティネーションクラスの両方の多くの画像にアクセスする必要があります。これにより、使用が大幅に制限されると主張します。少数の例から新しいオブジェクトの本質を取り出し、そこから一般化する人間の能力からインスピレーションを得て、私たちは以前は見えなかったターゲットクラスで動作する少数ショットの教師なしの画像から画像への変換アルゴリズムを探しますテスト時に、いくつかのサンプル画像によってのみ指定されます。私たちのモデルは、敵のトレーニングスキームを新しいネットワーク設計と結合することにより、この少数ショット生成機能を実現します。広範な実験的検証とベンチマークデータセットに関するいくつかのベースラインメソッドとの比較を通じて、提案されたフレームワークの有効性を検証します。実装とデータセットはhttps://github.com/NVlabs/FUNITで入手できます。
Unsupervised image-to-image translation methods learn to map images in a given class to an analogous image in a different class, drawing on unstructured (non-registered) datasets of images. While remarkably successful, current methods require access to many images in both source and destination classes at training time. We argue this greatly limits their use. Drawing inspiration from the human capability of picking up the essence of a novel object from a small number of examples and generalizing from there, we seek a few-shot, unsupervised image-to-image translation algorithm that works on previously unseen target classes that are specified, at test time, only by a few example images. Our model achieves this few-shot generation capability by coupling an adversarial training scheme with a novel network design. Through extensive experimental validation and comparisons to several baseline methods on benchmark datasets, we verify the effectiveness of the proposed framework. Our implementation and datasets are available at https://github.com/NVlabs/FUNIT .