arXiv reaDer
CLIPasso:意味認識オブジェクトスケッチ
CLIPasso: Semantically-Aware Object Sketching
線画はシンプルで最小限の性質を持っているため、抽象化はスケッチの中心です。抽象化では、オブジェクトまたはシーンの本質的な視覚的特性を特定する必要があります。これには、意味の理解と高レベルの概念に関する事前の知識が必要です。したがって、抽象的な描写は芸術家にとっては挑戦的であり、機械にとってはさらに挑戦的です。幾何学的および意味論的な単純化によって導かれる、さまざまなレベルの抽象化を実現できるオブジェクトスケッチメソッドであるCLIPassoを紹介します。スケッチ生成方法は、トレーニングのために明示的なスケッチデータセットに依存することがよくありますが、CLIP(Contrastive-Language-Image-Pretraining)の優れた機能を利用して、スケッチと画像から同様にセマンティックコンセプトを抽出します。スケッチをベジェ曲線のセットとして定義し、微分可能なラスタライザーを使用して、CLIPベースの知覚損失に関して曲線のパラメーターを直接最適化します。抽象度は、ストローク数を変えることで制御されます。生成されたスケッチは、認識可能性、基礎となる構造、および描画された主題の重要な視覚的コンポーネントを維持しながら、複数のレベルの抽象化を示します。
Abstraction is at the heart of sketching due to the simple and minimal nature of line drawings. Abstraction entails identifying the essential visual properties of an object or scene, which requires semantic understanding and prior knowledge of high-level concepts. Abstract depictions are therefore challenging for artists, and even more so for machines. We present CLIPasso, an object sketching method that can achieve different levels of abstraction, guided by geometric and semantic simplifications. While sketch generation methods often rely on explicit sketch datasets for training, we utilize the remarkable ability of CLIP (Contrastive-Language-Image-Pretraining) to distill semantic concepts from sketches and images alike. We define a sketch as a set of Bézier curves and use a differentiable rasterizer to optimize the parameters of the curves directly with respect to a CLIP-based perceptual loss. The abstraction degree is controlled by varying the number of strokes. The generated sketches demonstrate multiple levels of abstraction while maintaining recognizability, underlying structure, and essential visual components of the subject drawn.
updated: Mon May 16 2022 07:04:54 GMT+0000 (UTC)
published: Fri Feb 11 2022 18:35:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト