arXiv reaDer
Deep Portrait Lighting Enhancement with 3D Guidance
画像照明強化のための深層学習方法の最近の進歩にもかかわらず、3D顔情報がモデルで無視されるため、ポートレートに適用すると劣ります。これに対処するために、3D顔ガイダンスに基づくポートレート照明強化のための新しい深層学習フレームワークを提示します。私たちのフレームワークは2つの段階で構成されています。最初の段階では、修正された照明パラメータは、3Dモーフィング可能なモデルと微分可能なレンダラーの助けを借りて、入力された悪い照明画像からネットワークによって予測されます。予測された照明パラメータが与えられると、微分可能なレンダラーは、修正されたシェーディングとテクスチャを使用して顔画像をレンダリングします。これは、第2段階で画像照明の強化を学習するための3Dガイダンスとして機能します。入力とガイダンスの間の長距離相関をより有効に活用するために、第2段階では、照明が強化された結果を自動的に生成する新しいトランスアーキテクチャを備えた画像から画像への変換ネットワークを設計します。 FFHQデータセットと実際の画像に関する実験結果は、提案された方法が、定量的メトリックと視覚的品質の両方の点で最先端の方法よりも優れていることを示しています。データセットとその他の結果をで公開します。
Despite recent breakthroughs in deep learning methods for image lighting enhancement, they are inferior when applied to portraits because 3D facial information is ignored in their models. To address this, we present a novel deep learning framework for portrait lighting enhancement based on 3D facial guidance. Our framework consists of two stages. In the first stage, corrected lighting parameters are predicted by a network from the input bad lighting image, with the assistance of a 3D morphable model and a differentiable renderer. Given the predicted lighting parameter, the differentiable renderer renders a face image with corrected shading and texture, which serves as the 3D guidance for learning image lighting enhancement in the second stage. To better exploit the long-range correlations between the input and the guidance, in the second stage, we design an image-to-image translation network with a novel transformer architecture, which automatically produces a lighting-enhanced result. Experimental results on the FFHQ dataset and in-the-wild images show that the proposed method outperforms state-of-the-art methods in terms of both quantitative metrics and visual quality. We will publish our dataset along with more results on
updated: Wed Aug 04 2021 15:49:09 GMT+0000 (UTC)
published: Wed Aug 04 2021 15:49:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト