モバイル拡張現実 (AR) で高品質の仮想オブジェクトをレンダリングするには、全方向環境照明を正確に理解することが重要です。特に、反射レンダリングをサポートするために、既存の方法では深層学習モデルを活用して推定したり、物理的な光プローブを使用して、通常は環境マップの形式で表される物理的な照明をキャプチャしたりしています。ただし、これらの方法では、視覚的に一貫した詳細を提供できないか、追加のセットアップが必要になることがよくあります。たとえば、商用フレームワーク ARKit は、現実的な環境マップを生成できる畳み込みニューラル ネットワークを使用します。ただし、対応する反射レンダリングは物理環境と一致しない場合があります。この作業では、現実的で視覚的に一貫したレンダリングを可能にする LitAR と呼ばれる照明再構築フレームワークの設計と実装を紹介します。 LitAR は、モバイル AR の照明情報をサポートするいくつかの課題に対処します。まず、空間分散の問題に対処するために、LitAR は 2 フィールド照明再構成を使用して、照明再構成タスクを空間分散認識近視野再構成と方向認識遠視野再構成に分割します。対応する環境マップにより、正しい色調の反射レンダリングが可能になります。第 2 に、LitAR は 2 つのノイズ耐性データ キャプチャ ポリシーを使用してデータ品質を確保します。つまり、ガイド付きブートストラップ動作とモーション ベースの自動キャプチャです。第 3 に、モバイル計算能力と照明再構築の高い計算要件との間の不一致を処理するために、LitAR は、多重解像度投影とアンカー外挿と呼ばれる 2 つの新しいリアルタイム環境マップ レンダリング技術を採用しています。これら 2 つの手法により、視覚的な品質を維持しながら、時間のかかるメッシュ再構築の必要性が効果的に排除されます。
An accurate understanding of omnidirectional environment lighting is crucial for high-quality virtual object rendering in mobile augmented reality (AR). In particular, to support reflective rendering, existing methods have leveraged deep learning models to estimate or have used physical light probes to capture physical lighting, typically represented in the form of an environment map. However, these methods often fail to provide visually coherent details or require additional setups. For example, the commercial framework ARKit uses a convolutional neural network that can generate realistic environment maps; however the corresponding reflective rendering might not match the physical environments. In this work, we present the design and implementation of a lighting reconstruction framework called LitAR that enables realistic and visually-coherent rendering. LitAR addresses several challenges of supporting lighting information for mobile AR. First, to address the spatial variance problem, LitAR uses two-field lighting reconstruction to divide the lighting reconstruction task into the spatial variance-aware near-field reconstruction and the directional-aware far-field reconstruction. The corresponding environment map allows reflective rendering with correct color tones. Second, LitAR uses two noise-tolerant data capturing policies to ensure data quality, namely guided bootstrapped movement and motion-based automatic capturing. Third, to handle the mismatch between the mobile computation capability and the high computation requirement of lighting reconstruction, LitAR employs two novel real-time environment map rendering techniques called multi-resolution projection and anchor extrapolation. These two techniques effectively remove the need of time-consuming mesh reconstruction while maintaining visual quality.