画像合成の既存の方法では、畳み込みのスタックとプーリングレイヤーに基づくスタイルエンコーダーを使用して、入力画像からスタイルコードを生成していました。ただし、小規模なオブジェクトはこのようなダウンスケーリング手順によって「洗い流される」傾向があるため、エンコードされたベクトルには必ずしも対応する画像のローカル情報が含まれているとは限りません。本論文では、SuperStyleNetと名付けられたスーパーピクセルベースのスタイルエンコーダによる深部画像合成を提案する。まず、スーパーピクセルに基づいて元の画像からスタイルコードを直接抽出し、ローカルオブジェクトを検討します。次に、グラフィカルな分析に基づいて、ベクトル化されたスタイルコードの空間関係を復元します。したがって、提案されたネットワークは、スタイルコードをセマンティックラベルにマッピングすることにより、高品質の画像合成を実現します。実験結果は、提案された方法が視覚的品質と定量的測定の点で最先端の方法よりも優れていることを示しています。さらに、スタイルコードを調整することで、精巧な空間スタイル編集を実現します。
Existing methods for image synthesis utilized a style encoder based on stacks of convolutions and pooling layers to generate style codes from input images. However, the encoded vectors do not necessarily contain local information of the corresponding images since small-scale objects are tended to "wash away" through such downscaling procedures. In this paper, we propose deep image synthesis with superpixel based style encoder, named as SuperStyleNet. First, we directly extract the style codes from the original image based on superpixels to consider local objects. Second, we recover spatial relationships in vectorized style codes based on graphical analysis. Thus, the proposed network achieves high-quality image synthesis by mapping the style codes into semantic labels. Experimental results show that the proposed method outperforms state-of-the-art ones in terms of visual quality and quantitative measurements. Furthermore, we achieve elaborate spatial style editing by adjusting style codes.