arXiv reaDer
SpaceEdit:オープンドメイン画像編集のための統一された編集スペースの学習
SpaceEdit: Learning a Unified Editing Space for Open-Domain Image Editing
最近、事前にトレーニングされた大規模なモデル(BERT、StyleGAN、CLIPなど)は、ドメイン内のさまざまなダウンストリームタスクで優れた知識の伝達と一般化の機能を示しています。これらの取り組みに着想を得て、本論文では、オープンドメイン画像の元のコンテンツと構造を維持しながら、オープンドメイン画像の色と色調の調整に焦点を当てたオープンドメイン画像編集の統一モデルを提案します。私たちのモデルは、多くの既存の写真編集ソフトウェアで使用されている操作スペース(コントラスト、明るさ、カラーカーブなど)よりも意味があり、直感的で、操作が簡単な統合編集スペースを学習します。私たちのモデルは、画像エンコーダーとデコーダーで構成される画像から画像への変換フレームワークに属しており、マルチモーダル出力を生成するために前画像と後画像のペアでトレーニングされています。画像ペアを学習した編集スペースの潜在的なコードに反転することにより、モデルを言語ガイド付き画像編集、パーソナライズされた編集、編集スタイルのクラスタリング、検索などのさまざまなダウンストリーム編集タスクに活用できることを示します。実験における編集スペースの独自の特性は、前述のタスクで優れたパフォーマンスを発揮します。
Recently, large pretrained models (e.g., BERT, StyleGAN, CLIP) have shown great knowledge transfer and generalization capability on various downstream tasks within their domains. Inspired by these efforts, in this paper we propose a unified model for open-domain image editing focusing on color and tone adjustment of open-domain images while keeping their original content and structure. Our model learns a unified editing space that is more semantic, intuitive, and easy to manipulate than the operation space (e.g., contrast, brightness, color curve) used in many existing photo editing softwares. Our model belongs to the image-to-image translation framework which consists of an image encoder and decoder, and is trained on pairs of before- and after-images to produce multimodal outputs. We show that by inverting image pairs into latent codes of the learned editing space, our model can be leveraged for various downstream editing tasks such as language-guided image editing, personalized editing, editing-style clustering, retrieval, etc. We extensively study the unique properties of the editing space in experiments and demonstrate superior performance on the aforementioned tasks.
updated: Tue Nov 30 2021 23:53:32 GMT+0000 (UTC)
published: Tue Nov 30 2021 23:53:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト