arXiv reaDer
US-GAN:表情合成におけるUltimate Skip Connectionの重要性について
US-GAN: On the importance of Ultimate Skip Connection for Facial Expression Synthesis
敵対的生成ネットワーク (GAN) を使用して、表情合成に究極のスキップ (US) 接続を使用する利点を示します。直接接続により、アーティファクトを抑制しながら、アイデンティティ、顔、および色の詳細を入力から出力に転送します。したがって、中間層は式の生成のみに集中できます。これにより、エンコード レイヤー、単一の残差ブロック、デコード レイヤー、および入力から出力への最終的なスキップ接続で構成される軽量の US-GAN モデルが得られます。 US-GAN は、最先端のモデルよりも 3 分の 1 少ないパラメーターを持ち、2 桁小さいデータセットでトレーニングされます。顔検証スコア (FVS) が 7% 増加し、平均コンテンツ距離 (ACD) が 27% 減少します。無作為化されたユーザー調査に基づくと、US-GAN は最新技術を顔のリアリズムで 25%、表現品質で 43%、ID 保持で 58% 上回っています。
We demonstrate the benefit of using an ultimate skip (US) connection for facial expression synthesis using generative adversarial networks (GAN). A direct connection transfers identity, facial, and color details from input to output while suppressing artifacts. The intermediate layers can therefore focus on expression generation only. This leads to a light-weight US-GAN model comprised of encoding layers, a single residual block, decoding layers, and an ultimate skip connection from input to output. US-GAN has 3× fewer parameters than state-of-the-art models and is trained on 2 orders of magnitude smaller dataset. It yields 7% increase in face verification score (FVS) and 27% decrease in average content distance (ACD). Based on a randomized user-study, US-GAN outperforms the state of the art by 25% in face realism, 43% in expression quality, and 58% in identity preservation.
updated: Sat Apr 08 2023 01:42:24 GMT+0000 (UTC)
published: Fri Dec 24 2021 08:56:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト