このホワイトペーパーでは、遷移の一貫性、つまり各データペア間の条件付きデータマッピングで定義された一貫性を使用した画像から画像(I2I)への変換の問題を再検討します。遷移変数t、つまり$ xt(x、y)を使用して各データマッピングを明示的にパラメーター化すると、既存のI2I変換モデルは、主に結果の一貫性の維持に焦点を当てていることがわかります。これにより、テストフェーズでの目に見えない遷移で満足のいく結果を生成する一般化機能が制限されます。したがって、I2I変換の結果の一貫性と遷移の一貫性の両方を適用して、入力と出力の間の一貫性を高めることで問題を解決することを提案します。翻訳モデルの一般化能力を活用するために、これら2つの{目に見えない遷移の一貫性の種類の明示的な正則化を容易にする遷移エンコーディングを提案します。さらに、このような明示的に正則化された整合性を配布レベルに一般化することで、I2I変換の問題に対する一般化された全体的な整合性を促進します。上記の設計により、Transition Encoding GAN(TEGAN)という名前の提案されたモデルは、テストフェーズで目に見えない遷移を伴う現実的で意味的に一貫した翻訳結果を生成する優れた一般化機能を備えています。また、データマッピング、つまり遷移の明示的なモデリングにより、既存のGANベースのI2I遷移モデルの統一された理解を提供します。 4つの異なるI2I変換タスクでの実験は、TEGANの有効性と一般性を示しています。
In this paper, we revisit the Image-to-Image (I2I) translation problem with transition consistency, namely the consistency defined on the conditional data mapping between each data pairs. Explicitly parameterizing each data mappings with a transition variable t, i.e., $x t(x,y) we discover that existing I2I translation models mainly focus on maintaining consistency on results, e.g., image reconstruction or attribute prediction, named result consistency in our paper. This restricts their generalization ability to generate satisfactory results with unseen transitions in the test phase. Consequently, we propose to enforce both result consistency and transition consistency for I2I translation, to benefit the problem with a closer consistency between the input and output. To benefit the generalization ability of the translation model, we propose transition encoding to facilitate explicit regularization of these two {kinds of consistencies on unseen transitions. We further generalize such explicitly regularized consistencies to distribution-level, thus facilitating a generalized overall consistency for I2I translation problems. With the above design, our proposed model, named Transition Encoding GAN (TEGAN), can poss superb generalization ability to generate realistic and semantically consistent translation results with unseen transitions in the test phase. It also provides a unified understanding of the existing GAN-based I2I transition models with our explicitly modeling of the data mapping, i.e., transition. Experiments on four different I2I translation tasks demonstrate the efficacy and generality of TEGAN.