最近のデータ駆動型の画像色付け方法では、自動または参照ベースの色付けが可能になりましたが、依然としてオブジェクトレベルの色制御が不満足で不正確であるという問題に悩まされています。これらの問題に対処するために、事前にトレーニングされた拡散モデルの力を利用して、追加の入力を行わずに、プロンプト テキストに基づいて鮮やかな色を復元する DiffColor と呼ばれる新しい方法を提案します。 DiffColor には主に 2 つの段階が含まれます。事前に生成カラーを使用したカラー化と、コンテキスト内で制御可能なカラー化です。具体的には、まず、事前トレーニングされたテキストから画像へのモデルを微調整し、CLIP ベースのコントラスト損失を使用してカラー化された画像を生成します。次に、カラー化された画像とテキスト プロンプトを調整する最適化されたテキスト埋め込みと、高品質の画像再構成を可能にする微調整された拡散モデルの取得を試みます。私たちの方法は、数回の反復で鮮やかで多様な色を生成し、ターゲット言語のガイダンスに合わせた色を保ちながら、構造と背景を無傷に保つことができます。さらに、私たちの方法では、コンテキスト内の色付け、つまり、微調整せずにプロンプトテキストを変更することで異なる色付け結果を生成することができ、オブジェクトレベルで制御可能な色付け結果を達成できます。広範な実験とユーザー調査により、DiffColor が視覚的な品質、色の忠実度、および色付けオプションの多様性の点で以前の作品よりも優れていることが実証されています。
Recent data-driven image colorization methods have enabled automatic or reference-based colorization, while still suffering from unsatisfactory and inaccurate object-level color control. To address these issues, we propose a new method called DiffColor that leverages the power of pre-trained diffusion models to recover vivid colors conditioned on a prompt text, without any additional inputs. DiffColor mainly contains two stages: colorization with generative color prior and in-context controllable colorization. Specifically, we first fine-tune a pre-trained text-to-image model to generate colorized images using a CLIP-based contrastive loss. Then we try to obtain an optimized text embedding aligning the colorized image and the text prompt, and a fine-tuned diffusion model enabling high-quality image reconstruction. Our method can produce vivid and diverse colors with a few iterations, and keep the structure and background intact while having colors well-aligned with the target language guidance. Moreover, our method allows for in-context colorization, i.e., producing different colorization results by modifying prompt texts without any fine-tuning, and can achieve object-level controllable colorization results. Extensive experiments and user studies demonstrate that DiffColor outperforms previous works in terms of visual quality, color fidelity, and diversity of colorization options.