arXiv reaDer
特徴分布間の最適な輸送に基づくテクスチャ合成の生成モデル
A Generative Model for Texture Synthesis based on Optimal Transport between Feature Distributions
局所特徴の統計的分布を制約する最適化によるテクスチャ合成の一般的なフレームワークであるGOTEXを提案します。私たちのモデルにはいくつかの既存のテクスチャモデルが含まれていますが、特徴分布間の比較が最適な輸送距離に依存している場合に焦点を当てています。最適な輸送のセミデュアル定式化により、これらの特徴が高次元空間に存在する場合でも、さまざまな可能な特徴の分布を制御できることを示します。次に、結果として得られるミニマックス最適化問題を研究します。これは、ワッサーシュタイン生成モデルに対応し、標準的な確率的勾配法で内部凹型最大化問題を解くことができます。代替の最適化アルゴリズムは、アプリケーション、機能、およびアーキテクチャの点で用途が広いことが示されています。特に、さまざまな機能セットを備えた高品質の合成テクスチャを生成できます。パッチの分布または事前に学習されたVGGニューラルネットワークへの応答の分布を制約することによって得られた結果を分析します。パッチ表現が、より正確な方法で目的のテクスチャの側面を取得できることを示します。また、最先端のテクスチャ合成方法との詳細な比較も提供します。パッチ機能に基づくGOTEXモデルは、テクスチャインペインティングとテクスチャ補間にも適合しています。最後に、フレームワークを使用して、任意のサイズの新しいテクスチャをオンザフライで非常に高速に合成できるフィードフォワードニューラルネットワークを学習する方法を示します。実験結果と文献の主流の方法との比較は、GOTEXで学習した生成モデルの関連性を示しています。
We propose GOTEX, a general framework for texture synthesis by optimization that constrains the statistical distribution of local features. While our model encompasses several existing texture models, we focus on the case where the comparison between feature distributions relies on optimal transport distances. We show that the semi-dual formulation of optimal transport allows to control the distribution of various possible features, even if these features live in a high-dimensional space. We then study the resulting minimax optimization problem, which corresponds to a Wasserstein generative model, for which the inner concave maximization problem can be solved with standard stochastic gradient methods. The alternate optimization algorithm is shown to be versatile in terms of applications, features and architecture; in particular it allows to produce high-quality synthesized textures with different sets of features. We analyze the results obtained by constraining the distribution of patches or the distribution of responses to a pre-learned VGG neural network. We show that the patch representation can retrieve the desired textural aspect in a more precise manner. We also provide a detailed comparison with state-of-the-art texture synthesis methods. The GOTEX model based on patch features is also adapted to texture inpainting and texture interpolation. Finally, we show how to use our framework to learn a feed-forward neural network that can synthesize on-the-fly new textures of arbitrary size in a very fast manner. Experimental results and comparisons with the mainstream methods from the literature illustrate the relevance of the generative models learned with GOTEX.
updated: Mon Oct 18 2021 15:08:04 GMT+0000 (UTC)
published: Fri Jun 19 2020 13:32:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト