暗い場所でのシーンの理解は難しい問題です。これは、カメラによってキャプチャされたフォトンの数が少なく、その結果、信号対ノイズ比(SNR)が低くなるためです。単一光子カメラ(SPC)は、高感度で画像をキャプチャできる新しいセンシングモダリティです。読み取りノイズが最小限であるにもかかわらず、光子が不足している状態でSPCによってキャプチャされた画像は、依然として強いショットノイズに悩まされており、信頼できるシーンの推測が妨げられています。フォトンスケールスペースは、低フォトンフラックス画像で推論モデルをトレーニングするためのガイドとして、広範囲のピクセルあたりのフォトン(PPP)レベル(ただし同じシーンコンテンツ)にまたがる高SNR画像のコレクションを提案します。特徴表現空間で異なる照明レベルの画像を互いに近づけるトレーニング手法を開発します。重要なアイデアは、トレーニング中にさまざまな輝度レベルのスペクトルを持つことで効果的なガイダンスが可能になり、極端なノイズの場合でもショットノイズに対する堅牢性が向上することです。提案されたアプローチに基づいて、SPADカメラを使用したシミュレーションと実際の実験を通じて、画像分類や超低照度下での単眼深度推定など、1PPP未満までのさまざまな推論タスクでの高性能を実証します。
Scene understanding under low-light conditions is a challenging problem. This is due to the small number of photons captured by the camera and the resulting low signal-to-noise ratio (SNR). Single-photon cameras (SPCs) are an emerging sensing modality that are capable of capturing images with high sensitivity. Despite having minimal read-noise, images captured by SPCs in photon-starved conditions still suffer from strong shot noise, preventing reliable scene inference. We propose photon scale-space a collection of high-SNR images spanning a wide range of photons-per-pixel (PPP) levels (but same scene content) as guides to train inference model on low photon flux images. We develop training techniques that push images with different illumination levels closer to each other in feature representation space. The key idea is that having a spectrum of different brightness levels during training enables effective guidance, and increases robustness to shot noise even in extreme noise cases. Based on the proposed approach, we demonstrate, via simulations and real experiments with a SPAD camera, high-performance on various inference tasks such as image classification and monocular depth estimation under ultra low-light, down to < 1 PPP.