arXiv reaDer
ManiFest:数ショットの画像翻訳のためのマニホールド変形
ManiFest: Manifold Deformation for Few-shot Image Translation
ほとんどの画像から画像への変換方法では、多数のトレーニング画像が必要であるため、それらの適用性が制限されます。代わりに、ManiFestを提案します。これは、少数の画像のみからターゲットドメインのコンテキストアウェア表現を学習する、数ショットの画像翻訳のフレームワークです。機能の一貫性を強化するために、フレームワークはソースアンカードメインとプロキシアンカードメインの間のスタイルマニホールドを学習します(多数の画像で構成されていると想定)。学習されたマニフォールドは、パッチベースの敵対的および機能統計のアライメント損失を介して、数ショットのターゲットドメインに向かって補間および変形されます。これらのコンポーネントはすべて、単一のエンドツーエンドループ中に同時にトレーニングされます。一般的な数ショットの翻訳タスクに加えて、私たちのアプローチは、代わりに、その特定のスタイルを再現するために単一の模範的な画像に条件付けすることができます。広範な実験により、複数のタスクでのManiFestの有効性が実証され、すべてのメトリックで、一般ベースと模範ベースの両方のシナリオで最先端のパフォーマンスを上回っています。私たちのコードはhttps://github.com/cv-rits/Manifestで入手できます。
Most image-to-image translation methods require a large number of training images, which restricts their applicability. We instead propose ManiFest: a framework for few-shot image translation that learns a context-aware representation of a target domain from a few images only. To enforce feature consistency, our framework learns a style manifold between source and proxy anchor domains (assumed to be composed of large numbers of images). The learned manifold is interpolated and deformed towards the few-shot target domain via patch-based adversarial and feature statistics alignment losses. All of these components are trained simultaneously during a single end-to-end loop. In addition to the general few-shot translation task, our approach can alternatively be conditioned on a single exemplar image to reproduce its specific style. Extensive experiments demonstrate the efficacy of ManiFest on multiple tasks, outperforming the state-of-the-art on all metrics and in both the general- and exemplar-based scenarios. Our code is available at https://github.com/cv-rits/Manifest .
updated: Mon Nov 29 2021 18:59:58 GMT+0000 (UTC)
published: Fri Nov 26 2021 18:59:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト