未知の部屋の空白の壁の観察から人の数または人の活動を推測する受動的な非視線法を提示します。私たちの手法は、壁のビデオの間接照明の複雑で知覚できない変化を分析して、シーンの隠れた部分の動きと相関する信号を明らかにします。この信号を使用して、0人、1人、または2人の動く人、または隠れたシーンでの人の活動を分類します。 20の異なるシーンから収集されたデータを使用して2つの畳み込みニューラルネットワークをトレーニングし、目に見えないテスト環境とリアルタイムのオンライン設定の両方のタスクで約94%の精度を達成します。他のパッシブな非視線法とは異なり、この手法は既知のオクルーダーや制御可能な光源に依存せず、再キャリブレーションなしで未知の部屋に一般化されます。実際のデータと合成データの両方を使用して、メソッドの一般化とロバスト性を分析し、信号品質に対するシーンパラメータの影響を調査します。
We present a passive non-line-of-sight method that infers the number of people or activity of a person from the observation of a blank wall in an unknown room. Our technique analyzes complex imperceptible changes in indirect illumination in a video of the wall to reveal a signal that is correlated with motion in the hidden part of a scene. We use this signal to classify between zero, one, or two moving people, or the activity of a person in the hidden scene. We train two convolutional neural networks using data collected from 20 different scenes, and achieve an accuracy of ≈94% for both tasks in unseen test environments and real-time online settings. Unlike other passive non-line-of-sight methods, the technique does not rely on known occluders or controllable light sources, and generalizes to unknown rooms with no re-calibration. We analyze the generalization and robustness of our method with both real and synthetic data, and study the effect of the scene parameters on the signal quality.