この論文では、人工知能と芸術の間の魅力的な交差点とみなすことができるベクトル フロー認識および線制御可能な画像から画像への変換アーキテクチャを提案することにより、写真から自動的に制御可能な芸術的なキャラクターの線画生成の問題を調査します。具体的には、まず、学習ベースの方法で効率的かつ堅牢にベクトル流れ場を作成する Image-to-Flow ネットワーク (I2FNet) を紹介します。これは、線を描くための方向ガイドを提供できます。次に、学習されたベクトル フローと入力画像フローからの特徴を融合して、ラインの空間的一貫性を保証する、適切に設計されたダブル フロー ジェネレーター (DFG) フレームワークを導入します。一方、制御可能なキャラクター線画の生成を可能にするために、線制御マトリックス (LCM) を DFG に統合し、線制御リグレッサー (LCR) をトレーニングして、太さなどの詳細レベルを精緻に制御することでさまざまなスタイルの描画を合成します。 、線の滑らかさ、連続性。最後に、ポイントの周波数領域ビューからキャラクター ラインの生成をさらに制限するために、フーリエ変換損失を設計します。定量的および定性的な実験により、私たちのアプローチが知覚的に現実的な特性を備えた高解像度の文字線画画像を生成する際に優れたパフォーマンスを得ることができることが実証されています。
In this paper, we investigate the problem of automatically controllable artistic character line drawing generation from photographs by proposing a Vector Flow Aware and Line Controllable Image-to-Image Translation architecture, which can be viewed as an appealing intersection between Artificial Intelligence and Arts. Specifically, we first present an Image-to-Flow network (I2FNet) to efficiently and robustly create the vector flow field in a learning-based manner, which can provide a direction guide for drawing lines. Then, we introduce our well-designed Double Flow Generator (DFG) framework to fuse features from learned vector flow and input image flow guaranteeing the spatial coherence of lines. Meanwhile, in order to allow for controllable character line drawing generation, we integrate a Line Control Matrix (LCM) into DFG and train a Line Control Regressor (LCR) to synthesize drawings with different styles by elaborately controlling the level of details, such as thickness, smoothness, and continuity, of lines. Finally, we design a Fourier Transformation Loss to further constrain the character line generation from the frequency domain view of the point. Quantitative and qualitative experiments demonstrate that our approach can obtain superior performance in producing high-resolution character line-drawing images with perceptually realistic characteristics.