未踏の視覚空間の学習表現を改善するために、GRaWD(Generative Random Walk Deviation)と呼ばれる生成モデルの新しい損失を提案します。目に見えないクラス(またはスタイル)の質の高い学習表現は、新しい画像の生成と、目に見えない視覚クラス、つまりゼロショット学習(ZSL)のより良い生成的理解を促進するために重要です。生成ZSLは、属性やテキストなどのセマンティック記述に基づいて見えないクラスの表現を生成することにより、見えないクラスと見えるカテゴリを区別しようとします。提案されたGRaWD損失は、現在のミニバッチで見られたクラス/スタイルセンターと生成されたサンプルを含む動的グラフを作成することによって定義されます。私たちの喪失は、幻覚の見えないクラスから生成された視覚世代を通して、各センターからランダムウォークの確率を開始します。偏差信号として、見られたクラスのいずれかとして分類するのが難しい特徴表現で、tステップ後にランダムウォークが最終的に着陸することをお勧めします。提案された損失は、CUBおよびNABirdsデータセットのテキストベースのZSLベンチマークと、AWA2、SUN、およびaPYデータセットの属性ベースのZSLベンチマークで、目に見えないクラス表現の品質を帰納的に改善できることを示しています。さらに、WikiArtデータセットで意味のある新しい視覚芸術を生成するための提案された損失の能力を調査します。実験と人間による評価の結果は、提案されたGRaWDの損失が、StyleGAN1とStyleGAN2の生成品質を改善し、はるかに好ましい新しいアートを作成できることを示しています。私たちのコードはhttps://github.com/Vision-CAIR/GRaWDで公開されています。
We propose a novel loss for generative models, dubbed as GRaWD (Generative Random Walk Deviation), to improve learning representations of unexplored visual spaces. Quality learning representation of unseen classes (or styles) is critical to facilitate novel image generation and better generative understanding of unseen visual classes, i.e., zero-shot learning (ZSL). By generating representations of unseen classes based on their semantic descriptions, e.g., attributes or text, generative ZSL attempts to differentiate unseen from seen categories. The proposed GRaWD loss is defined by constructing a dynamic graph that includes the seen class/style centers and generated samples in the current minibatch. Our loss initiates a random walk probability from each center through visual generations produced from hallucinated unseen classes. As a deviation signal, we encourage the random walk to eventually land after t steps in a feature representation that is difficult to classify as any of the seen classes. We demonstrate that the proposed loss can improve unseen class representation quality inductively on text-based ZSL benchmarks on CUB and NABirds datasets and attribute-based ZSL benchmarks on AWA2, SUN, and aPY datasets. In addition, we investigate the ability of the proposed loss to generate meaningful novel visual art on the WikiArt dataset. The results of experiments and human evaluations demonstrate that the proposed GRaWD loss can improve StyleGAN1 and StyleGAN2 generation quality and create novel art that is significantly more preferable. Our code is made publicly available at https://github.com/Vision-CAIR/GRaWD.