arXiv reaDer
One-to-one Mapping for Unpaired Image-to-image Translation
 最近、画像から画像への変換は、生成的敵対ネットワーク(GAN)の使用の成功から始まり、周期的制約の導入、複数ドメインへの拡張に至るまで、文献に大きな関心を集めています。ただし、既存のアプローチでは、2つのイメージドメイン間のマッピングが一意または1対1であるという保証はありません。ここでは、対になっていない画像から画像への変換のための自己逆ネットワーク学習アプローチを提案します。 CycleGANの上に構築し、トレーニング中に入力と出力を交換してトレーニングサンプルを単純に増強し、マッピング方向ごとにサイクルの一貫性の損失を分離することにより、自己逆関数を学習します。このような学習の結果は、実証済みの1対1のマッピング機能です。クロスモーダル医療画像合成、オブジェクト変容、セマンティックラベリングなど、さまざまなデータセットに関する広範な実験により、定性的および定量的の両方でCycleGANメソッドに対する明確な改善が一貫して実証されています。特に、提案された方法は、ラベルと写真のペアになっていない方向の画像変換の都市景観ベンチマークデータセットの最新の結果に到達します。
Recently image-to-image translation has attracted significant interests in the literature, starting from the successful use of the generative adversarial network (GAN), to the introduction of cyclic constraint, to extensions to multiple domains. However, in existing approaches, there is no guarantee that the mapping between two image domains is unique or one-to-one. Here we propose a self-inverse network learning approach for unpaired image-to-image translation. Building on top of CycleGAN, we learn a self-inverse function by simply augmenting the training samples by swapping inputs and outputs during training and with separated cycle consistency loss for each mapping direction. The outcome of such learning is a proven one-to-one mapping function. Our extensive experiments on a variety of datasets, including cross-modal medical image synthesis, object transfiguration, and semantic labeling, consistently demonstrate clear improvement over the CycleGAN method both qualitatively and quantitatively. Especially our proposed method reaches the state-of-the-art result on the cityscapes benchmark dataset for the label to photo unpaired directional image translation.
updated: Wed Jan 15 2020 03:13:18 GMT+0000 (UTC)
published: Mon Sep 09 2019 19:10:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト