生成変換モデルを使用した教師なしの画像から画像への変換の領域では、CycleGAN が最適なアーキテクチャになっています。このアーキテクチャの主な欠点の 1 つは、収束速度が比較的遅いことです。この研究では、Nagisetty らの研究に基づいて、バックプロパゲーション中に生成器の勾配をマスクする弁別器からの顕著性マップを使用することにより、弁別器駆動の説明可能性を使用して生成モデルの収束速度を高速化します。また、以下を導入します。 Wang M. の Mask CycleGAN に基づく解釈可能な潜在変数を使用して、ガウス ノイズ マスクに追加された入力の顕著性マップ。これにより、両方向の説明可能性の融合が可能になり、入力にノイズが追加された顕著性マップを証拠に基づく反事実フィルタリングとして利用できます。この新しいアーキテクチャは、画質を維持しながら、ベースラインの CycleGAN アーキテクチャよりもはるかに高い収束率を実現します。
In the domain of unsupervised image-to-image transformation using generative transformative models, CycleGAN has become the architecture of choice. One of the primary downsides of this architecture is its relatively slow rate of convergence. In this work, we use discriminator-driven explainability to speed up the convergence rate of the generative model by using saliency maps from the discriminator that mask the gradients of the generator during backpropagation, based on the work of Nagisetty et al., and also introducing the saliency map on input, added onto a Gaussian noise mask, by using an interpretable latent variable based on Wang M.'s Mask CycleGAN. This allows for an explainability fusion in both directions, and utilizing the noise-added saliency map on input as evidence-based counterfactual filtering. This new architecture has much higher rate of convergence than a baseline CycleGAN architecture while preserving the image quality.