arXiv reaDer
少数ショット生成ドメイン適応のためのドメイン再変調
Domain Re-Modulation for Few-Shot Generative Domain Adaptation
この研究では、1 つまたはいくつかの参照画像を使用して、事前にトレーニングされたジェネレーターを 1 つのドメインから新しいドメインに転送することを含む、少数ショット生成ドメイン適応 (GDA) のタスクを調査します。ターゲットドメインの一貫性、大規模な多様性、クロスドメインの一貫性に焦点を当てた以前の研究に基づいて、GDAに必要な2つの追加のプロパティであるメモリとドメインアソシエーションを結論付けています.これらの特性を満たすために、新しい方法ドメイン再変調(DoRM)を提案しました。具体的には、DoRM はソース ジェネレーターをフリーズし、追加のマッピングおよびアフィン モジュール (M&A モジュール) を使用してターゲット ドメインの属性を取得し、スタイル空間で直線的に結合可能なドメイン シフトをもたらします。これにより、単一のジェネレーターに複数の M&A モジュールを統合することで、忠実度の高いマルチドメインおよびハイブリッド ドメインの生成が可能になります。 DoRM は軽量で実装が簡単です。広範な実験により、定量的および定性的の両方で、ワンショットおよび 10 ショット GDA の両方で DoRM の優れたパフォーマンスが実証されました。さらに、初めて、単一のモデルを使用することで、最小限のストレージ コストでマルチドメインおよびハイブリッド ドメインの生成を実現できます。コードは https://github.com/wuyi2020/DoRM で入手できます。
In this study, we investigate the task of few-shot Generative Domain Adaptation (GDA), which involves transferring a pre-trained generator from one domain to a new domain using one or a few reference images. Building upon previous research that has focused on Target-domain Consistency, Large Diversity, and Cross-domain Consistency, we conclude two additional desired properties for GDA: Memory and Domain Association. To meet these properties, we proposed a novel method Domain Re-Modulation (DoRM). Specifically, DoRM freezes the source generator and employs additional mapping and affine modules (M&A module) to capture the attributes of the target domain, resulting in a linearly combinable domain shift in style space. This allows for high-fidelity multi-domain and hybrid-domain generation by integrating multiple M&A modules in a single generator. DoRM is lightweight and easy to implement. Extensive experiments demonstrated the superior performance of DoRM on both one-shot and 10-shot GDA, both quantitatively and qualitatively. Additionally, for the first time, multi-domain and hybrid-domain generation can be achieved with a minimal storage cost by using a single model. The code will be available at https://github.com/wuyi2020/DoRM.
updated: Tue Feb 07 2023 03:37:01 GMT+0000 (UTC)
published: Mon Feb 06 2023 03:55:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト