arXiv reaDer
SunStage: 太陽をライト ステージとして使用したポートレートの再構築と再照明
SunStage: Portrait Reconstruction and Relighting using the Sun as a Light Stage
ライト ステージは、一連のキャリブレーションされたカメラとライトを使用して、さまざまな照明と視点の下で被写体の顔の外観をキャプチャします。このキャプチャされた情報は、顔の再構成と再照明にとって重要です。残念なことに、ライト ステージにはアクセスできないことが多く、高価であり、建設と運用にはかなりの技術的専門知識が必要です。このホワイト ペーパーでは、SunStage を紹介します。これは、スマートフォンのカメラと太陽のみを使用して同等のデータをキャプチャするライト ステージの軽量な代替手段です。私たちの方法は、ユーザーが屋外で自撮りビデオを撮影し、その場で回転させ、太陽と顔の間のさまざまな角度を顔のジオメトリ、反射率、カメラのポーズ、および照明パラメーターの共同再構築のガイダンスとして使用することだけを必要とします。調整されていない野生の設定にもかかわらず、私たちのアプローチは詳細な顔の外観とジオメトリを再構築することができ、再照明、新しいビュー合成、反射編集などの魅力的な効果を可能にします.結果とインタラクティブなデモは、https://sunstage.cs.washington.edu/ で入手できます。
A light stage uses a series of calibrated cameras and lights to capture a subject's facial appearance under varying illumination and viewpoint. This captured information is crucial for facial reconstruction and relighting. Unfortunately, light stages are often inaccessible: they are expensive and require significant technical expertise for construction and operation. In this paper, we present SunStage: a lightweight alternative to a light stage that captures comparable data using only a smartphone camera and the sun. Our method only requires the user to capture a selfie video outdoors, rotating in place, and uses the varying angles between the sun and the face as guidance in joint reconstruction of facial geometry, reflectance, camera pose, and lighting parameters. Despite the in-the-wild un-calibrated setting, our approach is able to reconstruct detailed facial appearance and geometry, enabling compelling effects such as relighting, novel view synthesis, and reflectance editing. Results and interactive demos are available at https://sunstage.cs.washington.edu/.
updated: Fri Mar 24 2023 22:54:08 GMT+0000 (UTC)
published: Thu Apr 07 2022 17:59:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト