一般に、固有の画像分解アルゴリズムは、シェーディングをすべての測光効果を含む1つの統合コンポーネントとして解釈します。シェーディング遷移は一般に反射率(アルベド)の変化よりも滑らかであるため、これらの方法では、強い測光効果と反射率の変化を区別できない場合があります。したがって、この論文では、シェーディングコンポーネントを直接(照明)および間接シェーディング(周囲光と影)のサブコンポーネントに分解することを提案します。目的は、強い測光効果と反射率の変動を区別することです。エンドツーエンドの深い畳み込みニューラルネットワーク(ShadingNet)が提案されています。これは、きめ細かいシェーディングモデルを活用する特殊な融合および改良ユニットを使用して、細かく粗い方法で動作します。これは、特定の測光効果から分離された特定の反射率の手がかりを学習して、解きほぐし能力を分析するように設計されています。屋外の自然環境のシーンレベルの合成画像の大規模なデータセットには、きめの細かい固有の画像のグラウンドトゥルースが用意されています。大規模な実験では、きめ細かいシェーディング分解を使用したアプローチが、NED、MPI Sintel、GTA V、IIW、MIT Intrinsic Images、3DRMS、SRDデータセットで統一されたシェーディングを利用した最先端のアルゴリズムよりも優れていることが示されています。
In general, intrinsic image decomposition algorithms interpret shading as one unified component including all photometric effects. As shading transitions are generally smoother than reflectance (albedo) changes, these methods may fail in distinguishing strong photometric effects from reflectance variations. Therefore, in this paper, we propose to decompose the shading component into direct (illumination) and indirect shading (ambient light and shadows) subcomponents. The aim is to distinguish strong photometric effects from reflectance variations. An end-to-end deep convolutional neural network (ShadingNet) is proposed that operates in a fine-to-coarse manner with a specialized fusion and refinement unit exploiting the fine-grained shading model. It is designed to learn specific reflectance cues separated from specific photometric effects to analyze the disentanglement capability. A large-scale dataset of scene-level synthetic images of outdoor natural environments is provided with fine-grained intrinsic image ground-truths. Large scale experiments show that our approach using fine-grained shading decompositions outperforms state-of-the-art algorithms utilizing unified shading on NED, MPI Sintel, GTA V, IIW, MIT Intrinsic Images, 3DRMS and SRD datasets.