arXiv reaDer
シュレーディンガー橋を介した深いジェネレーティブ学習
Deep Generative Learning via Schrödinger Bridge
シュレディンガー橋を用いたエントロピー補間を介して生成モデルを学習することを提案します。ジェネレーティブ学習タスクは、カルバック・ライブラー発散に基づいて、参照分布とターゲット分布の間を補間するものとして定式化できます。母集団レベルでは、このエントロピー補間は、時間とともに変化するドリフト項を持つ[0,1]のSDEを介して特徴付けられます。サンプルレベルでは、ディープスコア推定量とディープ密度比推定量によって推定されたドリフト項をオイラー丸山法にプラグインすることにより、シュレーディンガーブリッジアルゴリズムを導出します。ターゲット分布のいくつかの穏やかな滑らかさの仮定の下で、スコア推定量と密度比推定量の両方の一貫性を証明し、提案されたシュレーディンガー橋アプローチの一貫性を確立します。私たちの理論的結果は、私たちのアプローチによって学習された分布がターゲット分布に収束することを保証します。マルチモーダル合成データとベンチマークデータの実験結果は、私たちの理論的発見を裏付けており、シュレーディンガー橋を介した生成モデルが最先端のGANに匹敵することを示しており、生成学習の新しい定式化を示唆しています。画像補間と画像修復におけるその有用性を示します。
We propose to learn a generative model via entropy interpolation with a Schrödinger Bridge. The generative learning task can be formulated as interpolating between a reference distribution and a target distribution based on the Kullback-Leibler divergence. At the population level, this entropy interpolation is characterized via an SDE on [0,1] with a time-varying drift term. At the sample level, we derive our Schrödinger Bridge algorithm by plugging the drift term estimated by a deep score estimator and a deep density ratio estimator into the Euler-Maruyama method. Under some mild smoothness assumptions of the target distribution, we prove the consistency of both the score estimator and the density ratio estimator, and then establish the consistency of the proposed Schrödinger Bridge approach. Our theoretical results guarantee that the distribution learned by our approach converges to the target distribution. Experimental results on multimodal synthetic data and benchmark data support our theoretical findings and indicate that the generative model via Schrödinger Bridge is comparable with state-of-the-art GANs, suggesting a new formulation of generative learning. We demonstrate its usefulness in image interpolation and image inpainting.
updated: Sat Jun 19 2021 03:35:42 GMT+0000 (UTC)
published: Sat Jun 19 2021 03:35:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト