arXiv reaDer
ジェネレーティブ アートだけではない: アート分析におけるコンテンツ スタイルのもつれを解くための安定した拡散
Not Only Generative Art: Stable Diffusion for Content-Style Disentanglement in Art Analysis
内容とスタイルの二重性は、芸術の本質に固有のものです。人間にとって、これら 2 つの要素は明らかに異なります。コンテンツは芸術作品のオブジェクトと概念を指し、スタイルはそれが表現される方法を指します。この二重性は、コンピューター ビジョンに重要な課題をもたらします。オブジェクトと概念の視覚的な外観は、作者の感情、社会的傾向、芸術運動などを反映する可能性のあるスタイルによって調整されます。それらの深い理解には、間違いなく両方を処理する必要があります。アート分析の一般的なパラダイムに向けた有望なステップは、コンテンツとスタイルを解きほぐすことですが、アートワークの 1 つの側面を選別するために人間の注釈に依存することは、セマンティックな概念と絵画の視覚的外観の学習に限界があります。したがって、最近の生成モデルでキャプチャされた芸術的知識を抽出してコンテンツとスタイルを解きほぐす方法である GOYA を紹介します。実験によると、人工的に生成された画像は実際のアート作品の分布の代用として十分に機能し、GOYA は既存の方法よりも多くの情報を保持しながらアートの 2 つの要素を別々に表現することができます。
The duality of content and style is inherent to the nature of art. For humans, these two elements are clearly different: content refers to the objects and concepts in the piece of art, and style to the way it is expressed. This duality poses an important challenge for computer vision. The visual appearance of objects and concepts is modulated by the style that may reflect the author's emotions, social trends, artistic movement, etc., and their deep comprehension undoubtfully requires to handle both. A promising step towards a general paradigm for art analysis is to disentangle content and style, whereas relying on human annotations to cull a single aspect of artworks has limitations in learning semantic concepts and the visual appearance of paintings. We thus present GOYA, a method that distills the artistic knowledge captured in a recent generative model to disentangle content and style. Experiments show that synthetically generated images sufficiently serve as a proxy of the real distribution of artworks, allowing GOYA to separately represent the two elements of art while keeping more information than existing methods.
updated: Thu Apr 20 2023 13:00:46 GMT+0000 (UTC)
published: Thu Apr 20 2023 13:00:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト