arXiv reaDer
すべてのデスクのライトステージ
A Light Stage on Every Desk
テレビやモニターの前に座るたびに、時間とともに変化する光のパターンで顔が活発に照らされます。このペーパーでは、この時変照明を使用して、新しい照明条件で顔を合成的に再照明することを提案します。そうすることで、私たちは、制御された照明環境で捕らえられた人々を再照明する能力を最初に示したDebevec etal。のライトステージの仕事からインスピレーションを得ます。既存のライトステージは高価な室内スケールの球形キャプチャガントリーを必要とし、世界の数ラボにしか存在しませんが、通常のテレビまたはデスクトップモニターから有用なデータを取得する方法を示します。ユーザーに不快な急速に点滅する光のパターンを与える代わりに、YouTubeビデオまたはその他の標準コンテンツを見ているユーザーの画像を操作します。特定のユーザーの画像とモニターパターンについて深いネットワークをトレーニングし、任意のターゲット照明(モニターパターン)の下でそのユーザーの画像を予測する方法を学びます。実験的評価は、我々の方法が現実的な再照明結果を生み出すことを示しています。ビデオの結果はhttp://grail.cs.washington.edu/projects/Light_Stage_on_Every_Desk/で入手できます。
Every time you sit in front of a TV or monitor, your face is actively illuminated by time-varying patterns of light. This paper proposes to use this time-varying illumination for synthetic relighting of your face with any new illumination condition. In doing so, we take inspiration from the light stage work of Debevec et al., who first demonstrated the ability to relight people captured in a controlled lighting environment. Whereas existing light stages require expensive, room-scale spherical capture gantries and exist in only a few labs in the world, we demonstrate how to acquire useful data from a normal TV or desktop monitor. Instead of subjecting the user to uncomfortable rapidly flashing light patterns, we operate on images of the user watching a YouTube video or other standard content. We train a deep network on images plus monitor patterns of a given user and learn to predict images of that user under any target illumination (monitor pattern). Experimental evaluation shows that our method produces realistic relighting results. Video results are available at http://grail.cs.washington.edu/projects/Light_Stage_on_Every_Desk/.
updated: Thu Nov 11 2021 15:34:42 GMT+0000 (UTC)
published: Mon May 17 2021 17:56:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト