ここ数年で、ニューラル ペインティング (NP) 技術により、非常にリアルなアートワークを作成できるようになりました。この論文は、インタラクティブ NP に対する最初のアプローチを提案することにより、この新たな研究領域の最先端を前進させます。ユーザーがシーンを見て、それを絵画上で再現しようとする設定を考慮すると、私たちの目的は、アートワークを完成させるために使用できる次のペイント ストロークを提案することで、ユーザーの創造性を支援する計算フレームワークを開発することです。このようなタスクを達成するために、我々は、2 段階のデコーダを備えた条件付きトランスフォーマ変分オートエンコーダ (VAE) アーキテクチャに基づく新しい方法である I-Paint を提案します。提案されたアプローチを評価し、この分野の研究を促進するために、2 つの新しいデータセットも紹介します。私たちの実験では、私たちのアプローチが優れたストローク提案を提供し、最先端技術と同等であることが示されています。追加の詳細、コード、例は、https://helia95.github.io/inp-website で入手できます。
In the last few years, Neural Painting (NP) techniques became capable of producing extremely realistic artworks. This paper advances the state of the art in this emerging research domain by proposing the first approach for Interactive NP. Considering a setting where a user looks at a scene and tries to reproduce it on a painting, our objective is to develop a computational framework to assist the users creativity by suggesting the next strokes to paint, that can be possibly used to complete the artwork. To accomplish such a task, we propose I-Paint, a novel method based on a conditional transformer Variational AutoEncoder (VAE) architecture with a two-stage decoder. To evaluate the proposed approach and stimulate research in this area, we also introduce two novel datasets. Our experiments show that our approach provides good stroke suggestions and compares favorably to the state of the art. Additional details, code and examples are available at https://helia95.github.io/inp-website.