arXiv reaDer
カメラを使用しない分光感度推定
Spectral Sensitivity Estimation Without a Camera
カメラのスペクトル感度がわかっていれば、コンピュータ ビジョンおよび関連分野における多くの問題が軽減されるでしょう。民生用カメラは高精度の視覚作業向けに設計されていないため、メーカーは分光感度を開示していません。彼らの推定には高価な光学セットアップが必要であり、研究者らはカラーターゲットを使用してコストと複雑さを削減することを目的とした多数の間接的な方法を考案するきっかけになりました。しかし、カラーターゲットの使用により推定がより困難になる新たな複雑さが生じ、その結果、現在、分光感度推定のためのシンプルで低コストで堅牢な頼りになる方法は存在しません。さらに、ハードウェアやコストの制限がない場合でも、研究者は所有していない複数のカメラからの画像を頻繁に操作します。この問題に対する実用的な解決策を提供するために、ハードウェアを必要としないだけでなく、カメラ自体への物理的アクセスも必要としない分光感度推定のフレームワークを提案します。他の作業と同様に、2 つの項の目的関数、つまり連立方程式からのカメラ固有の項と、解空間を境界付ける普遍的な項を最小化する最適化問題を定式化します。他の研究とは異なり、私たちは両方の項を構築するために公的に利用可能な高品質の校正データを使用します。 Adobe DNG Converter が提供する比色マッピング行列を使用してカメラ固有の方程式系を定式化し、グラウンドトゥルース曲線のデータベースでトレーニングされたオートエンコーダーを使用して解を制約します。平均して、同じカメラの 2 つのコピー間の製造上の欠陥によって発生する可能性のある再構成エラーを最小限に抑えることができます。私たちはコードと 1,000 台以上のカメラの予測感度を提供し、カメラの応答が利用可能な場合にどのタスクが簡単になる可能性があるかを議論します。
A number of problems in computer vision and related fields would be mitigated if camera spectral sensitivities were known. As consumer cameras are not designed for high-precision visual tasks, manufacturers do not disclose spectral sensitivities. Their estimation requires a costly optical setup, which triggered researchers to come up with numerous indirect methods that aim to lower cost and complexity by using color targets. However, the use of color targets gives rise to new complications that make the estimation more difficult, and consequently, there currently exists no simple, low-cost, robust go-to method for spectral sensitivity estimation. Furthermore, even if not limited by hardware or cost, researchers frequently work with imagery from multiple cameras that they do not have in their possession. To provide a practical solution to this problem, we propose a framework for spectral sensitivity estimation that not only does not require any hardware, but also does not require physical access to the camera itself. Similar to other work, we formulate an optimization problem that minimizes a two-term objective function: a camera-specific term from a system of equations, and a universal term that bounds the solution space. Different than other work, we use publicly available high-quality calibration data to construct both terms. We use the colorimetric mapping matrices provided by the Adobe DNG Converter to formulate the camera-specific system of equations, and constrain the solutions using an autoencoder trained on a database of ground-truth curves. On average, we achieve reconstruction errors as low as those that can arise due to manufacturing imperfections between two copies of the same camera. We provide our code and predicted sensitivities for 1,000+ cameras, and discuss which tasks can become trivial when camera responses are available.
updated: Tue Jul 11 2023 13:34:50 GMT+0000 (UTC)
published: Sun Apr 23 2023 06:18:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト