この作業では、生成的敵対的ネットワーク(GAN)を使用して画像のコレクションから基礎となる変換を学習することにより、画像変換の問題を研究します。具体的には、TrGANと呼ばれる教師なし学習フレームワークを提案し、ジェネレーターとディスクリミネーターが共有する変換空間に画像を投影します。この投影された空間内の任意の2つのポイントは、画像生成プロセスをガイドできる変換を定義し、継続的なセマンティックの変更につながります。一対の画像を変換空間に投影することで、画像間のセマンティックバリエーションを適切に抽出し、抽出したセマンティックをさらに適用して、画像スタイルの転送(昼から夜への変更など)だけでなく、操作も含めた画像編集を容易にすることができます。画像の内容(例:空に雲を追加する)。コードとモデルはhttps://genforce.github.io/trganで入手できます。
In this work, we study the image transformation problem by learning the underlying transformations from a collection of images using Generative Adversarial Networks (GANs). Specifically, we propose an unsupervised learning framework, termed as TrGAN, to project images onto a transformation space that is shared by the generator and the discriminator. Any two points in this projected space define a transformation that can guide the image generation process, leading to continuous semantic change. By projecting a pair of images onto the transformation space, we are able to adequately extract the semantic variation between them and further apply the extracted semantic to facilitating image editing, including not only transferring image styles (e.g., changing day to night) but also manipulating image contents (e.g., adding clouds in the sky). Code and models are available at https://genforce.github.io/trgan.