arXiv reaDer
ビデオのリアルタイムグローバルイルミネーション分解
Real-Time Global Illumination Decomposition of Videos
単眼カラービデオを直接および間接照明コンポーネントにリアルタイムで分解するための最初のアプローチを提案します。シーンの反射率、光源、およびさまざまなコヒーレントシーン領域からの反射によってシーンの外観に与えられた寄与を別々のレイヤーで取得します。グローバルな光輸送を反転させる既存の技術は、多重化された制御された照明の下での画像キャプチャを必要とするか、または遅いオフラインフレームレートで単一の画像の分解のみを可能にします。対照的に、私たちのアプローチは通常のビデオで機能し、リアルタイムのフレームレートで時間的にコヒーレントな分解レイヤーを生成します。私たちのアプローチの中核は、共同で推定された基本反射率カラーの小さなセットに基づいて、ピクセルごとの直接および間接照明レイヤーの推定を可能にするいくつかのスパース性の優先順位です。結果として生じる変分分解問題は、新しい交互データ並列最適化戦略を使用して効率的に解く非線形方程式のスパースおよびデンスセットに基づく新しい定式化を使用します。私たちは、私たちのアプローチを定性的および定量的に評価し、品質と実行時間の両方で、この分野の最先端技術を超える改善を示しています。さらに、一貫した照明を備えたビデオ用のさまざまなリアルタイムの外観編集アプリケーションを示します。
We propose the first approach for the decomposition of a monocular color video into direct and indirect illumination components in real time. We retrieve, in separate layers, the contribution made to the scene appearance by the scene reflectance, the light sources and the reflections from various coherent scene regions to one another. Existing techniques that invert global light transport require image capture under multiplexed controlled lighting, or only enable the decomposition of a single image at slow off-line frame rates. In contrast, our approach works for regular videos and produces temporally coherent decomposition layers at real-time frame rates. At the core of our approach are several sparsity priors that enable the estimation of the per-pixel direct and indirect illumination layers based on a small set of jointly estimated base reflectance colors. The resulting variational decomposition problem uses a new formulation based on sparse and dense sets of non-linear equations that we solve efficiently using a novel alternating data-parallel optimization strategy. We evaluate our approach qualitatively and quantitatively, and show improvements over the state of the art in this field, in both quality and runtime. In addition, we demonstrate various real-time appearance editing applications for videos with consistent illumination.
updated: Thu Jun 10 2021 21:28:52 GMT+0000 (UTC)
published: Tue Aug 06 2019 05:23:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト