arXiv reaDer
CartoonRenderer:インスタンスベースのマルチスタイル漫画画像トランスレータ
CartoonRenderer: An Instance-based Multi-Style Cartoon Image Translator
 インスタンスベースの写真の漫画化は、写真のセマンティックコンテンツを保持しながら、現実的な写真を漫画スタイルの画像に変換することを目的とする困難な画像スタイル化タスクの1つです。最先端のディープニューラルネットワーク(DNN)メソッドは、特に高コントラストで豊かなテクスチャーを持つ写真の場合、野生の入力写真で満足のいく結果を出すことができません。これは、漫画スタイルの画像は滑らかな色領域と強調されたエッジを持つ傾向があり、明確なセマンティックコンテンツ、つまりテクスチャ、形状などを必要とする現実的な写真とは対照的です。以前の方法は、漫画スタイルのテクスチャを満たし、セマンティックコンテンツを保存するのが困難でした同時に。この作業では、単一のトレーニング済みモデルを使用して複数の漫画スタイルを生成する新しい「CartoonRenderer」フレームワークを提案します。簡単に言うと、この方法は写真をフィーチャーモデルにマッピングし、フィーチャーモデルを画像空間にレンダリングします。特に、漫画化は、提案されたSoft-AdaINを使用して、機能空間でいくつかの変換操作を実行することによって実現されます。広範な実験結果により、我々の方法は、従来の技術よりも高品質の漫画スタイル画像を生成し、正確なセマンティックコンテンツの保存を示しています。さらに、生成プロセス全体を「モデリング-調整-レンダリング」パーツに分離しているため、既存のメソッドでは扱いにくい高解像度の写真を簡単に処理できます。
Instance based photo cartoonization is one of the challenging image stylization tasks which aim at transforming realistic photos into cartoon style images while preserving the semantic contents of the photos. State-of-the-art Deep Neural Networks (DNNs) methods still fail to produce satisfactory results with input photos in the wild, especially for photos which have high contrast and full of rich textures. This is due to that: cartoon style images tend to have smooth color regions and emphasized edges which are contradict to realistic photos which require clear semantic contents, i.e., textures, shapes etc. Previous methods have difficulty in satisfying cartoon style textures and preserving semantic contents at the same time. In this work, we propose a novel "CartoonRenderer" framework which utilizing a single trained model to generate multiple cartoon styles. In a nutshell, our method maps photo into a feature model and renders the feature model back into image space. In particular, cartoonization is achieved by conducting some transformation manipulation in the feature space with our proposed Soft-AdaIN. Extensive experimental results show our method produces higher quality cartoon style images than prior arts, with accurate semantic content preservation. In addition, due to the decoupling of whole generating process into "Modeling-Coordinating-Rendering" parts, our method could easily process higher resolution photos, which is intractable for existing methods.
updated: Thu Nov 14 2019 14:15:14 GMT+0000 (UTC)
published: Thu Nov 14 2019 14:15:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト