この論文は、自動着色問題を解決するための反復生成モデルを提案した。以前の研究では、もっともらしい色を生成する機能が示されていますが、エッジの色のオーバーフローと参照画像の要件は依然として存在します。この研究における教師なし学習の出発点は、勾配マップが画像の潜在的な情報を持っているという観察です。したがって、生成モデリングの推論プロセスは、結合強度勾配ドメインで実行されます。具体的には、ネットワーク入力として、強度勾配で形成された高次元テンソルのセットを使用して、トレーニングフェーズで強力なノイズ条件付きスコアネットワークをトレーニングします。さらに、データ忠実度項での結合強度勾配制約は、反復着色段階で生成モデル内の自由度を制限するために提案されており、エッジ保存に役立ちます。広範な実験により、システムは、定量的な比較であれ、ユーザーによる調査であれ、最先端の方法を上回っていることを示しました。
This paper proposes an iterative generative model for solving the automatic colorization problem. Although previous researches have shown the capability to generate plausible color, the edge color overflow and the requirement of the reference images still exist. The starting point of the unsupervised learning in this study is the ob?servation that the gradient map possesses latent infor?mation of the image. Therefore, the inference process of the generative modeling is conducted in joint intensity-gradient domain. Specifically, a set of intensity-gradient formed high-dimensional tensors, as the network input, are used to train a powerful noise conditional score network at the training phase. Furthermore, the joint intensity-gradient constraint in data-fidelity term is proposed to limit the degree of freedom within generative model at the iterative colorization stage, and it is conducive to edge-preserving. Extensive experiments demonstrated that the system out?performed state-of-the-art methods whether in quantitative comparisons or user study.