拡張現実 (AR) では、仮想アセットが現実世界のオブジェクトの「間にある」ように見えることが重要です。仮想要素は、妥当な深さの順序に基づいて、現実の物質によってさまざまに遮蔽されたり遮られたりする必要があります。このオクルージョンは、視聴者のカメラが動いても、時間の経過とともに一貫している必要があります。残念ながら、推定されたシーンの深度に小さな間違いがあると、下流のオクルージョン マスクが台無しになり、それによって AR の錯覚が台無しになる可能性があります。特にリアルタイム設定では、境界付近または時間を超えて推定される深度が一致しない可能性があります。この論文では、中間ステップとしての深さ回帰の必要性に挑戦します。代わりに、深さの暗黙的モデルを提案し、それを使用してオクルージョン マスクを直接予測します。私たちのネットワークへの入力は、1 つ以上のカラー画像と、仮想ジオメトリの既知の深度です。私たちのオクルージョン予測が、従来の深さ推定モデルから得られた予測よりもどのように正確で、より時間的に安定しているかを示します。困難な ScanNetv2 データセットでは最先端のオクルージョン結果が得られ、実際のシーンでは優れた定性的結果が得られます。
For augmented reality (AR), it is important that virtual assets appear to `sit among' real world objects. The virtual element should variously occlude and be occluded by real matter, based on a plausible depth ordering. This occlusion should be consistent over time as the viewer's camera moves. Unfortunately, small mistakes in the estimated scene depth can ruin the downstream occlusion mask, and thereby the AR illusion. Especially in real-time settings, depths inferred near boundaries or across time can be inconsistent. In this paper, we challenge the need for depth-regression as an intermediate step. We instead propose an implicit model for depth and use that to predict the occlusion mask directly. The inputs to our network are one or more color images, plus the known depths of any virtual geometry. We show how our occlusion predictions are more accurate and more temporally stable than predictions derived from traditional depth-estimation models. We obtain state-of-the-art occlusion results on the challenging ScanNetv2 dataset and superior qualitative results on real scenes.