arXiv reaDer
UTSGAN: 遷移を意識した画像から画像への変換のための Unseen Transition Suss GAN
UTSGAN: Unseen Transition Suss GAN for Transition-Aware Image-to-image Translation
画像から画像 (I2I) への変換の分野では、入力画像とその変換結果の一貫性を確保することが、高品質で望ましい出力を生成するための重要な要件です。以前の I2I メソッドは、この目標を達成するために、変換された結果とグラウンド トゥルース出力との間の一貫性を強化する結果の一貫性に依存していました。ただし、結果の一貫性は、翻訳タスクで複雑で目に見えない属性の変更を処理する能力に制限があります。この問題に対処するために、I2I 変換に遷移を意識したアプローチを導入します。このアプローチでは、データ変換マッピングが遷移変数で明示的にパラメーター化され、目に見えない遷移によってトリガーされる観察されない変換のモデル化が可能になります。さらに、遷移変数で定義された遷移一貫性の使用を提案し、観察されていない翻訳の一貫性の正則化を可能にします。これは、以前の研究では省略されていました。これらの洞察に基づいて、Unseen Transition Suss GAN (UTSGAN) を提示します。これは、確率的遷移エンコーダーを使用して遷移の多様体を構築し、トレーニングと観測されていない翻訳の両方で結果の一貫性と遷移の一貫性を首尾一貫して正規化および一般化する生成フレームワークです。制約。 5 つの異なるデータセットで実行された 4 つの異なる I2I タスクに関する広範な実験は、一貫した翻訳を実行する際に提案された UTSGAN の有効性を示しています。
In the field of Image-to-Image (I2I) translation, ensuring consistency between input images and their translated results is a key requirement for producing high-quality and desirable outputs. Previous I2I methods have relied on result consistency, which enforces consistency between the translated results and the ground truth output, to achieve this goal. However, result consistency is limited in its ability to handle complex and unseen attribute changes in translation tasks. To address this issue, we introduce a transition-aware approach to I2I translation, where the data translation mapping is explicitly parameterized with a transition variable, allowing for the modelling of unobserved translations triggered by unseen transitions. Furthermore, we propose the use of transition consistency, defined on the transition variable, to enable regularization of consistency on unobserved translations, which is omitted in previous works. Based on these insights, we present Unseen Transition Suss GAN (UTSGAN), a generative framework that constructs a manifold for the transition with a stochastic transition encoder and coherently regularizes and generalizes result consistency and transition consistency on both training and unobserved translations with tailor-designed constraints. Extensive experiments on four different I2I tasks performed on five different datasets demonstrate the efficacy of our proposed UTSGAN in performing consistent translations.
updated: Mon Apr 24 2023 09:47:34 GMT+0000 (UTC)
published: Mon Apr 24 2023 09:47:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト