arXiv reaDer
空間的に変化する屋内照明予測のためのディープグラフ学習
Deep Graph Learning for Spatially-Varying Indoor Lighting Prediction
単一の画像からの照明予測は、仮想オブジェクトと実オブジェクト間のシェーディングとシャドウの一貫性を保証する必要がある多くのビジョンおよび拡張現実(AR)アプリケーションでますます重要になっています。ただし、これは、特に屋内シナリオでは、屋内照明器具の複雑さと2D画像に含まれる情報が限られているため、悪名高い問題です。本論文では、屋内照明推定のためのグラフ学習ベースのフレームワークを提案する。その核となるのは、深度拡張球面ガウス(SG)とグラフ畳み込みネットワーク(GCN)に基づく新しい照明モデル(DSGLightと呼ばれる)であり、限られた視野の単一のLDR画像から新しい照明表現を推測します。私たちの照明モデルは、屋内パノラマ上に128の均等に分散されたSGを構築します。各SGは、照明とそのノードの周囲の深さをエンコードします。次に、提案されたGCNは、入力画像からDSGLightへのマッピングを学習します。既存の照明モデルと比較して、当社のDSGLightは、直接照明と間接環境照明の両方をより忠実かつコンパクトにエンコードします。また、ネットワークのトレーニングと推論がより安定します。推定された深度分布により、空間的に変化する照明の下で時間的に安定したシェーディングとシャドウが可能になります。徹底的な実験を通じて、私たちの方法が定性的および定量的に既存の方法を明らかに上回っていることを示しています。
Lighting prediction from a single image is becoming increasingly important in many vision and augmented reality (AR) applications in which shading and shadow consistency between virtual and real objects should be guaranteed. However, this is a notoriously ill-posed problem, especially for indoor scenarios, because of the complexity of indoor luminaires and the limited information involved in 2D images. In this paper, we propose a graph learning-based framework for indoor lighting estimation. At its core is a new lighting model (dubbed DSGLight) based on depth-augmented Spherical Gaussians (SG) and a Graph Convolutional Network (GCN) that infers the new lighting representation from a single LDR image of limited field-of-view. Our lighting model builds 128 evenly distributed SGs over the indoor panorama, where each SG encoding the lighting and the depth around that node. The proposed GCN then learns the mapping from the input image to DSGLight. Compared with existing lighting models, our DSGLight encodes both direct lighting and indirect environmental lighting more faithfully and compactly. It also makes network training and inference more stable. The estimated depth distribution enables temporally stable shading and shadows under spatially-varying lighting. Through thorough experiments, we show that our method obviously outperforms existing methods both qualitatively and quantitatively.
updated: Sun Feb 13 2022 12:49:37 GMT+0000 (UTC)
published: Sun Feb 13 2022 12:49:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト