照明の理解は、モバイル拡張現実 (AR) アプリケーションを含む仮想オブジェクト構成において重要な役割を果たします。以前の研究では、多くの場合、物理環境から照明を回復して、フォトリアリスティックな AR レンダリングをサポートすることを目標としていました。一般的なワークフローは、仮想オブジェクトをオーバーレイするために背面カメラを使用して物理世界をキャプチャすることであるため、この使用パターンを背面 AR と呼びます。ただし、既存の方法では、新しい前面モバイル AR アプリケーション (たとえば、ユーザーが前面カメラを利用してさまざまなスタイルのさまざまな製品 (メガネや帽子など) の効果を調べる仮想試着) をサポートするには不十分なことがよくあります。このサポートの欠如は、360^∘ HDR 環境マップ (照明表現の理想的な形式) を前面カメラと既存の技術から取得するという固有の課題に起因する可能性があります。このホワイトペーパーでは、デュアルカメラストリーミングを活用して、マルチビュー照明再構成とパラメトリック指向性照明推定を組み合わせることにより、高品質の環境マップを生成することを提案します。私たちの予備的な結果は、商用ソリューションと比較して、前面 AR 用のデュアルカメラ設定を使用すると、レンダリング品質が向上することを示しています。
Lighting understanding plays an important role in virtual object composition, including mobile augmented reality (AR) applications. Prior work often targets recovering lighting from the physical environment to support photorealistic AR rendering. Because the common workflow is to use a back-facing camera to capture the physical world for overlaying virtual objects, we refer to this usage pattern as back-facing AR. However, existing methods often fall short in supporting emerging front-facing mobile AR applications, e.g., virtual try-on where a user leverages a front-facing camera to explore the effect of various products (e.g., glasses or hats) of different styles. This lack of support can be attributed to the unique challenges of obtaining 360^∘ HDR environment maps, an ideal format of lighting representation, from the front-facing camera and existing techniques. In this paper, we propose to leverage dual-camera streaming to generate a high-quality environment map by combining multi-view lighting reconstruction and parametric directional lighting estimation. Our preliminary results show improved rendering quality using a dual-camera setup for front-facing AR compared to a commercial solution.