ヴィンセントヴァンゴッホの「星月夜」のスタイルで描かれたエッフェル塔の写真を想像するのは簡単なようですが、内省すると、これが何を意味するのかを正確に定義することは困難です。エッフェル塔の「コンテンツ」を表すには、画像にどのような視覚要素を含める必要がありますか? 「星月夜」の視覚的要素は、夜空の下の村を描くという彼の決定ではなく、ゴッホの「スタイル」によって引き起こされていますか? 「コンテンツ」と「スタイル」を正確に定義することは、アートワークのスタイルを使用して写真を再現できるアルゴリズムである、芸術的なスタイル転送のアルゴリズムを設計する際の中心的な課題です。これらの用語を定義し、スタイル転送アルゴリズム自体を設計する私の努力は、この論文の焦点です。まず、最適なトランスポートと自己相似性に基づいたスタイルとコンテンツの新しい定義を提案し、これらの定義に基づくスタイル転送アルゴリズムが視覚品質を向上させた出力を生成する方法を示します。次に、スタイルの従来のテクスチャベースの定義を拡張して、定型化された出力のピクセルと一緒にキーポイントガイドによる変形フィールドを共同で最適化することにより、ジオメトリとプロポーションの要素を含める方法について説明します。最後に、最新のニューラルスタイル転送アルゴリズムと、高速で一般的で最先端の視覚品質を提供する従来のパッチベースの合成アプローチの両方に触発されたフレームワークについて説明します。
It seems easy to imagine a photograph of the Eiffel Tower painted in the style of Vincent van Gogh's 'The Starry Night', but upon introspection it is difficult to precisely define what this would entail. What visual elements must an image contain to represent the 'content' of the Eiffel Tower? What visual elements of 'The Starry Night' are caused by van Gogh's 'style' rather than his decision to depict a village under the night sky? Precisely defining 'content' and 'style' is a central challenge of designing algorithms for artistic style transfer, algorithms which can recreate photographs using an artwork's style. My efforts defining these terms, and designing style transfer algorithms themselves, are the focus of this thesis. I will begin by proposing novel definitions of style and content based on optimal transport and self-similarity, and demonstrating how a style transfer algorithm based on these definitions generates outputs with improved visual quality. Then I will describe how the traditional texture-based definition of style can be expanded to include elements of geometry and proportion by jointly optimizing a keypoint-guided deformation field alongside the stylized output's pixels. Finally I will describe a framework inspired by both modern neural style transfer algorithms and traditional patch-based synthesis approaches which is fast, general, and offers state-of-the-art visual quality.