暗闇で見ることは、その幅広いアプリケーションと、野生のシナリオの非常に複雑なため、最も重要で困難なコンピューター ビジョン タスクの 1 つです。既存の技術は、主に 2 つのスレッドに分けることができます。1) RGB 依存の方法は、劣化した RGB 入力のみを使用して情報を復元します (例えば、低照度の強化)。2) RGB に依存しない方法は、補助的な近赤外線 (NIR) 光源の下でキャプチャされた画像を変換します。 RGB ドメインに変換します (例: NIR2RGB 変換)。後者は、完全な暗闇で機能し、発光体が肉眼に視覚的に優しいため、非常に魅力的ですが、固有の曖昧さのために不安定になる傾向があります.この論文では、視覚的な親しみやすさを維持しながら、広帯域のVIS-NIR範囲で補助照明の最適なスペクトルを設計することにより、NIR2RGB変換を堅牢化しようとします。私たちの核となるアイデアは、人間の視覚システムによって暗示される可視性の制約を定量化し、それを設計パイプラインに組み込むことです。 VIS-NIR 範囲での画像の形成プロセスをモデル化することにより、広範囲の LED の最適な多重化が、可視性の制約によって定義された実行可能な領域内で、完全に微分可能な方法で自動的に設計されます。また、カスタマイズされた 50 バンド フィルター ホイールを使用して、実験用に大幅に拡張された VIS-NIR ハイパースペクトル画像データセットを収集します。実験結果は、最適化された広帯域照明を使用することで、NIR のみを使用するよりもタスクを大幅に改善できることを示しています。利用可能なコード: https://github.com/MyNiuuu/VCSD.
Seeing-in-the-dark is one of the most important and challenging computer vision tasks due to its wide applications and extreme complexities of in-the-wild scenarios. Existing arts can be mainly divided into two threads: 1) RGB-dependent methods restore information using degraded RGB inputs only (e.g. , low-light enhancement), 2) RGB-independent methods translate images captured under auxiliary near-infrared (NIR) illuminants into RGB domain (e.g. , NIR2RGB translation). The latter is very attractive since it works in complete darkness and the illuminants are visually friendly to naked eyes, but tends to be unstable due to its intrinsic ambiguities. In this paper, we try to robustify NIR2RGB translation by designing the optimal spectrum of auxiliary illumination in the wide-band VIS-NIR range, while keeping visual friendliness. Our core idea is to quantify the visibility constraint implied by the human vision system and incorporate it into the design pipeline. By modeling the formation process of images in the VIS-NIR range, the optimal multiplexing of a wide range of LEDs is automatically designed in a fully differentiable manner, within the feasible region defined by the visibility constraint. We also collect a substantially expanded VIS-NIR hyperspectral image dataset for experiments by using a customized 50-band filter wheel. Experimental results show that the task can be significantly improved by using the optimized wide-band illumination than using NIR only. Codes Available: https://github.com/MyNiuuu/VCSD.