arXiv reaDer
U-GAT-IT: 教師なしの生成的アテンションネットワークと適応的なレイヤー-インスタンス正規化による画像-画像変換
U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation
本研究では、教師なしの画像-画像変換のための新しい手法を提案する。この手法では、新しいアテンションモジュールと新しい学習可能な正規化関数をエンド・ツー・エンドで組み込む。我々のモデルはアテンションモジュールによって、補助分類器によって得られたアテンションマップに基づいて、ソースドメインとターゲットドメインを区別する、より重要な領域に焦点を当てるように誘導される。ドメイン間の幾何学的変化を扱うことができない従来のアテンションベースの手法とは異なり、我々のモデルは全体的な変化を必要とする画像と大きな形状変化を必要とする画像の両方を変換することができる。さらに、新しいAdaLIN(Adaptive Layer-Instance Normalization)機能を用いることで、アテンション誘導モデルは、データセットに応じて学習したパラメータにより、形状やテクスチャの変化量を柔軟に制御することができる。実験結果は、ネットワークアーキテクチャとハイパーパラメータを固定した既存の最先端モデルと比較して、提案手法の優位性を示している。我々のコードとデータセットは、https://github.com/taki0112/UGATIT または https://github.com/znxlwm/UGATIT-pytorch で公開されている。
We propose a novel method for unsupervised image-to-image translation, which incorporates a new attention module and a new learnable normalization function in an end-to-end manner. The attention module guides our model to focus on more important regions distinguishing between source and target domains based on the attention map obtained by the auxiliary classifier. Unlike previous attention-based method which cannot handle the geometric changes between domains, our model can translate both images requiring holistic changes and images requiring large shape changes. Moreover, our new AdaLIN (Adaptive Layer-Instance Normalization) function helps our attention-guided model to flexibly control the amount of change in shape and texture by learned parameters depending on datasets. Experimental results show the superiority of the proposed method compared to the existing state-of-the-art models with a fixed network architecture and hyper-parameters. Our code and datasets are available at https://github.com/taki0112/UGATIT or https://github.com/znxlwm/UGATIT-pytorch.
updated: Wed Apr 08 2020 15:36:10 GMT+0000 (UTC)
published: Thu Jul 25 2019 04:17:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト