arXiv reaDer
Continuation of Famous Art with AI: A Conditional Adversarial Network Inpainting Approach
実際のアートワークに触発された最先端の画像合成の多くは、フィルタリングされたランダムノイズによって完全に生成されるか、スタイルの転送に触発されます。この作品は、有名なアートワークを継続し、条件付きGANを使用してジェネレーティブアートを作成するために、イメージインペインティングのアプリケーションを調査します。プロセスのトレーニング段階では、画像の境界がトリミングされ、中央のみが残ります。次に、修復GANは、敵対的損失と絶対差損失の両方を最小限に抑えることにより、中央のクロップから元の画像を再構築する方法を学習する必要があります。ネットワークがトレーニングされると、画像はトリミングされてジェネレーターへの入力として表示されるのではなく、サイズが変更されます。学習プロセスに続いて、ジェネレーターは元のピースの端から続行して新しい画像を作成します。 3つの実験は、4766の風景画(印象派とロマン主義)、1167の日本の江戸時代の浮世絵作品、および4968の抽象的なアートワークのデータセットを使用して実行されます。結果は、実際のアートワークを拡張するときに、ジオメトリとテクスチャ(キャンバスとペイントを含む)、および空、雲、水、土地(丘と山を含む)、草、花などの風景がジェネレータによって実装されることを示しています。浮世絵の実験では、入力画像内に未塗装の境界線が存在するため、元の画像にテキストがない場合でも、テキストなどの特徴が生成されることが観察されました。
Much of the state-of-the-art in image synthesis inspired by real artwork are either entirely generative by filtered random noise or inspired by the transfer of style. This work explores the application of image inpainting to continue famous artworks and produce generative art with a Conditional GAN. During the training stage of the process, the borders of images are cropped, leaving only the centre. An inpainting GAN is then tasked with learning to reconstruct the original image from the centre crop by way of minimising both adversarial and absolute difference losses. Once the network is trained, images are then resized rather than cropped and presented as input to the generator. Following the learning process, the generator then creates new images by continuing from the edges of the original piece. Three experiments are performed with datasets of 4766 landscape paintings (impressionism and romanticism), 1167 Ukiyo-e works from the Japanese Edo period, and 4968 abstract artworks. Results show that geometry and texture (including canvas and paint) as well as scenery such as sky, clouds, water, land (including hills and mountains), grass, and flowers are implemented by the generator when extending real artworks. In the Ukiyo-e experiments, it was observed that features such as written text were generated even in cases where the original image did not have any, due to the presence of an unpainted border within the input image.
updated: Mon Oct 18 2021 10:39:32 GMT+0000 (UTC)
published: Mon Oct 18 2021 10:39:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト