ニューラルペインティングとは、特定の画像に対して一連のストロークを作成し、ニューラルネットワークを使用して非フォトリアリスティックに再作成する手順を指します。強化学習(RL)ベースのエージェントは、このタスクのストロークシーケンスを段階的に生成できますが、安定したRLエージェントをトレーニングすることは容易ではありません。一方、ストローク最適化手法は、大きな検索空間でストロークパラメータのセットを繰り返し検索します。そのような低い効率は、それらの普及と実用性を著しく制限します。以前の方法とは異なり、この論文では、タスクをセット予測問題として定式化し、フィードフォワードネットワークでストロークセットのパラメーターを予測するために、新しいTransformerベースのフレームワークであるPaintTransformerを提案します。このようにして、モデルは一連のストロークを並列に生成し、サイズ512 * 512の最終的なペイントをほぼリアルタイムで取得できます。さらに重要なことに、Paint Transformerのトレーニングに使用できるデータセットがないため、優れた一般化機能を実現しながら、既成のデータセットなしでトレーニングできるように、セルフトレーニングパイプラインを考案します。実験は、私たちの方法がより安価なトレーニングと推論コストで以前の方法よりも優れた塗装性能を達成することを示しています。コードとモデルが利用可能です。
Neural painting refers to the procedure of producing a series of strokes for a given image and non-photo-realistically recreating it using neural networks. While reinforcement learning (RL) based agents can generate a stroke sequence step by step for this task, it is not easy to train a stable RL agent. On the other hand, stroke optimization methods search for a set of stroke parameters iteratively in a large search space; such low efficiency significantly limits their prevalence and practicality. Different from previous methods, in this paper, we formulate the task as a set prediction problem and propose a novel Transformer-based framework, dubbed Paint Transformer, to predict the parameters of a stroke set with a feed forward network. This way, our model can generate a set of strokes in parallel and obtain the final painting of size 512 * 512 in near real time. More importantly, since there is no dataset available for training the Paint Transformer, we devise a self-training pipeline such that it can be trained without any off-the-shelf dataset while still achieving excellent generalization capability. Experiments demonstrate that our method achieves better painting performance than previous ones with cheaper training and inference costs. Codes and models are available.