スコアベースのモデルで生成された画像は、空間平均の誤差、つまりカラー シフトと呼ばれる効果の影響を受ける可能性があり、画像が大きくなるにつれてこの誤差は大きくなります。この論文では、スコアベースの拡散モデルにおけるカラーシフトを軽減するための、計算コストが低いソリューションを紹介します。入力の空間平均を処理し、スコア関数の平均を予測するように設計された、スコア ネットワークにおける単純な非線形バイパス接続を提案します。このネットワーク アーキテクチャにより、生成された画像の空間平均が大幅に改善され、その改善が生成された画像のサイズにほぼ依存しないことがわかりました。その結果、当社のソリューションは、画像サイズ間の色ずれの問題に対して比較的安価なソリューションを提供します。最後に、私たちのアプローチを動機付けるために、理想的な環境での色の変化の原因について説明します。
Generated images of score-based models can suffer from errors in their spatial means, an effect, referred to as a color shift, which grows for larger images. This paper introduces a computationally inexpensive solution to mitigate color shifts in score-based diffusion models. We propose a simple nonlinear bypass connection in the score network, designed to process the spatial mean of the input and to predict the mean of the score function. This network architecture substantially improves the resulting spatial means of the generated images, and we show that the improvement is approximately independent of the size of the generated images. As a result, our solution offers a comparatively inexpensive solution for the color shift problem across image sizes. Lastly, we discuss the origin of color shifts in an idealized setting in order to motivate our approach.