arXiv reaDer
どのスタイルが私を魅力的にしますか? StyleGANでの解釈可能な制御の発見と反事実的説明
Which Style Makes Me Attractive? Interpretable Control Discovery and Counterfactual Explanation on StyleGAN
GANの意味的に解きほぐされた潜在部分空間は、画像生成において豊富な解釈可能な制御を提供します。この論文には、StyleGAN2を使用した顔生成のシナリオにおける意味潜在的部分空間分析に関する2つの貢献が含まれています。まず、顔パーサーや顔ランドマーク検出器などの既存の顔分析モデルを活用して、潜在的な部分空間のセマンティクスを解きほぐす新しいアプローチを提案します。これらのモデルは、潜在的な部分空間の解きほぐしを制限するために、非常に具体的で解釈可能な意味論的意味(たとえば、顔の形の変更や肌の色の変更)でさまざまな基準を構築する柔軟性を提供します。構築された基準を使用して、これまで知られていなかった豊富な潜在空間制御を発見できます。次に、発見した解釈可能な潜在部分空間で反事実を生成することにより、CNN分類器の動作を説明する新しい視点を提案します。この説明は、分類器が意図したとおりにセマンティクスを学習するかどうかを明らかにするのに役立ちます。さまざまな解きほぐし基準に関する実験は、私たちのアプローチの有効性を示しています。このアプローチは、画像操作の領域とCNNの反事実的説明可能性の両方に寄与すると信じています。コードはhttps://github.com/prclibo/iceで入手できます。
The semantically disentangled latent subspace in GAN provides rich interpretable controls in image generation. This paper includes two contributions on semantic latent subspace analysis in the scenario of face generation using StyleGAN2. First, we propose a novel approach to disentangle latent subspace semantics by exploiting existing face analysis models, e.g., face parsers and face landmark detectors. These models provide the flexibility to construct various criterions with very concrete and interpretable semantic meanings (e.g., change face shape or change skin color) to restrict latent subspace disentanglement. Rich latent space controls unknown previously can be discovered using the constructed criterions. Second, we propose a new perspective to explain the behavior of a CNN classifier by generating counterfactuals in the interpretable latent subspaces we discovered. This explanation helps reveal whether the classifier learns semantics as intended. Experiments on various disentanglement criterions demonstrate the effectiveness of our approach. We believe this approach contributes to both areas of image manipulation and counterfactual explainability of CNNs. The code is available at https://github.com/prclibo/ice.
updated: Mon Jan 24 2022 13:42:47 GMT+0000 (UTC)
published: Mon Jan 24 2022 13:42:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト