リアルタイム AR アプリケーションに焦点を当て、屋内シーンの映像に仮想オブジェクトを現実的に埋め込むためのパイプラインを紹介します。私たちのパイプラインは、光推定器とニューラル ソフト シャドウ テクスチャ ジェネレータという 2 つの主要コンポーネントで構成されています。私たちの光の推定はディープ ニューラル ネットワークに基づいており、主な光の方向、光の色、周囲の色、およびシャドウ テクスチャの不透明度パラメータを決定します。私たちのニューラル ソフト シャドウ手法は、オブジェクトベースのリアルなソフト シャドウを光の方向に依存するテクスチャとして小さな MLP でエンコードします。私たちのパイプラインを使用して、リアルタイムで新しいレベルのリアリズムでオブジェクトを AR シーンに統合できることを示します。私たちのモデルは、現在のモバイル デバイスで実行できるほど小さいです。 iPhone 11 Pro では、光推定で 9 ミリ秒、ニューラル シャドウで 5 ミリ秒のランタイムを達成しました。
We present a pipeline for realistic embedding of virtual objects into footage of indoor scenes with focus on real-time AR applications. Our pipeline consists of two main components: A light estimator and a neural soft shadow texture generator. Our light estimation is based on deep neural nets and determines the main light direction, light color, ambient color and an opacity parameter for the shadow texture. Our neural soft shadow method encodes object-based realistic soft shadows as light direction dependent textures in a small MLP. We show that our pipeline can be used to integrate objects into AR scenes in a new level of realism in real-time. Our models are small enough to run on current mobile devices. We achieve runtimes of 9ms for light estimation and 5ms for neural shadows on an iPhone 11 Pro.