写真のようにリアルなスタイルの転送は、芸術的なスタイルを模範的なスタイル イメージからコンテンツ イメージに移行し、空間的な歪みや非現実的なアーティファクトのない結果のイメージを生成することを目的としています。最近の深いモデルによって印象的な結果が達成されました。ただし、ディープ ニューラル ネットワーク ベースの方法は、リアルタイムで実行するにはコストがかかりすぎます。一方、バイラテラル グリッド ベースの方法ははるかに高速ですが、露出オーバーなどのアーティファクトが含まれています。この作業では、Adaptive ColorMLP (AdaCM) を提案します。これは、普遍的なフォトリアリスティック スタイル転送のための効果的かつ効率的なフレームワークです。まず、入力ドメインとターゲット ドメインの間の複雑な非線形カラー マッピングは、小さな多層パーセプトロン (ColorMLP) モデルによって効率的にモデル化できることがわかりました。次に、AdaCM では、CNN エンコーダーを採用して、各入力コンテンツとスタイル画像のペアで調整された ColorMLP のすべてのパラメーターを適応的に予測します。実験結果は、AdaCM が鮮やかで高品質のスタイル設定結果を生成できることを示しています。一方、当社の AdaCM は超高速で、1 つの V100 GPU で 6 ミリ秒で 4K 解像度の画像を処理できます。
Photo-realistic style transfer aims at migrating the artistic style from an exemplar style image to a content image, producing a result image without spatial distortions or unrealistic artifacts. Impressive results have been achieved by recent deep models. However, deep neural network based methods are too expensive to run in real-time. Meanwhile, bilateral grid based methods are much faster but still contain artifacts like overexposure. In this work, we propose the Adaptive ColorMLP (AdaCM), an effective and efficient framework for universal photo-realistic style transfer. First, we find the complex non-linear color mapping between input and target domain can be efficiently modeled by a small multi-layer perceptron (ColorMLP) model. Then, in AdaCM, we adopt a CNN encoder to adaptively predict all parameters for the ColorMLP conditioned on each input content and style image pair. Experimental results demonstrate that AdaCM can generate vivid and high-quality stylization results. Meanwhile, our AdaCM is ultrafast and can process a 4K resolution image in 6ms on one V100 GPU.