arXiv reaDer
画像から画像への変換のための二重拡散暗黙的ブリッジ
Dual Diffusion Implicit Bridges for Image-to-Image Translation
一般的な画像から画像への変換方法は、ソース ドメインとターゲット ドメインの両方からのデータに対する共同トレーニングに依存しています。トレーニング プロセスでは、両方のデータセットに同時にアクセスする必要があるため、データの分離とプライバシー保護が妨げられます。また、既存のモデルを新しいドメイン ペアの翻訳に簡単に適応させることはできません。ドメインペアのトレーニングを回避する、拡散モデルに基づく画像変換方法である Dual Diffusion Implicit Bridges (DDIB) を紹介します。 DDIB を使用した画像変換は、各ドメインで個別にトレーニングされた 2 つの拡散モデルに依存しており、2 段階のプロセスです。DDIB は、最初にソース拡散モデルを使用してソース画像の潜在的なエンコーディングを取得し、次にターゲット モデルを使用してそのようなエンコーディングをデコードし、ターゲット画像を構築します。 .両方のステップは常微分方程式 (ODE) によって定義されるため、プロセスは ODE ソルバーの離散化誤差までのみサイクル一貫性があります。理論的には、DDIB を、ソースから潜在へ、潜在からターゲットへのシュレディンガー橋 (エントロピー正則化された最適輸送の形式) の連結として解釈し、この方法の有効性を説明します。実験的に、合成および高解像度の画像データセットに DDIB を適用して、さまざまな翻訳タスクでの有用性と固有の最適なトランスポート プロパティを実証します。
Common image-to-image translation methods rely on joint training over data from both source and target domains. The training process requires concurrent access to both datasets, which hinders data separation and privacy protection; and existing models cannot be easily adapted for translation of new domain pairs. We present Dual Diffusion Implicit Bridges (DDIBs), an image translation method based on diffusion models, that circumvents training on domain pairs. Image translation with DDIBs relies on two diffusion models trained independently on each domain, and is a two-step process: DDIBs first obtain latent encodings for source images with the source diffusion model, and then decode such encodings using the target model to construct target images. Both steps are defined via ordinary differential equations (ODEs), thus the process is cycle consistent only up to discretization errors of the ODE solvers. Theoretically, we interpret DDIBs as concatenation of source to latent, and latent to target Schrodinger Bridges, a form of entropy-regularized optimal transport, to explain the efficacy of the method. Experimentally, we apply DDIBs on synthetic and high-resolution image datasets, to demonstrate their utility in a wide variety of translation tasks and their inherent optimal transport properties.
updated: Thu Mar 02 2023 00:32:44 GMT+0000 (UTC)
published: Wed Mar 16 2022 04:10:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト