arXiv reaDer
コンテンツのStyleFlow-画像から画像への翻訳を修正
StyleFlow For Content-Fixed Image to Image Translation
画像から画像(I2I)への変換は、コンピュータービジョンの難しいトピックです。この問題を3つのタスクに分割します。強く制約された翻訳、通常は制約された翻訳、および弱く制約された翻訳です。ここでの制約は、元の画像のコンテンツまたはセマンティック情報が保持される範囲を示します。以前のアプローチは、弱く制約されたタスクで良好なパフォーマンスを達成しましたが、フォトリアリズム合成、スタイル転送、カラー化など、強く制約されたタスクと通常の制約されたタスクの両方でコンテンツを完全に保存できませんでした。通常は制約のあるタスクとして、フローの正規化と新しいStyle-Aware Normalization(SAN)モジュールで構成される新しいI2I変換モデルであるStyleFlowを提案します。反転可能なネットワーク構造では、StyleFlowは最初に入力画像をフォワードパスの深い特徴空間に投影し、後方パスはSANモジュールを利用してコンテンツ固定の特徴変換を実行してから画像空間に投影します。私たちのモデルは、画像誘導翻訳とマルチモーダル合成の両方をサポートしています。いくつかのI2I変換ベンチマークでモデルを評価し、その結果は、提案されたモデルが、強く制約されたタスクと通常制約されたタスクの両方で以前の方法よりも優れていることを示しています。
Image-to-image (I2I) translation is a challenging topic in computer vision. We divide this problem into three tasks: strongly constrained translation, normally constrained translation, and weakly constrained translation. The constraint here indicates the extent to which the content or semantic information in the original image is preserved. Although previous approaches have achieved good performance in weakly constrained tasks, they failed to fully preserve the content in both strongly and normally constrained tasks, including photo-realism synthesis, style transfer, and colorization, etc. To achieve content-preserving transfer in strongly constrained and normally constrained tasks, we propose StyleFlow, a new I2I translation model that consists of normalizing flows and a novel Style-Aware Normalization (SAN) module. With the invertible network structure, StyleFlow first projects input images into deep feature space in the forward pass, while the backward pass utilizes the SAN module to perform content-fixed feature transformation and then projects back to image space. Our model supports both image-guided translation and multi-modal synthesis. We evaluate our model in several I2I translation benchmarks, and the results show that the proposed model has advantages over previous methods in both strongly constrained and normally constrained tasks.
updated: Tue Jul 05 2022 09:40:03 GMT+0000 (UTC)
published: Tue Jul 05 2022 09:40:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト