arXiv reaDer
カメラを使用しない分光感度推定
Spectral Sensitivity Estimation Without a Camera
カメラのスペクトル感度が分かれば、コンピューター ビジョンおよび関連分野の多くの問題が軽減されます。消費者向けカメラは高精度の視覚タスク用に設計されていないため、メーカーはスペクトル感度を開示していません。彼らの推定には高価な光学設定が必要であり、研究者はカラーターゲットを使用してコストと複雑さを軽減することを目的とした多数の間接的な方法を考え出すようになりました。ただし、カラー ターゲットの使用は、推定をより困難にする新しい複雑さを引き起こします。その結果、現在、分光感度推定のためのシンプルで低コストで堅牢な頼りになる方法は存在しません。さらに、ハードウェアやコストに制限されていなくても、研究者は所有していない複数のカメラからの画像を頻繁に使用します。この問題に対する実用的な解決策を提供するために、ハードウェアを必要としないだけでなく、カメラ自体への物理的なアクセスも必要としないスペクトル感度推定のフレームワークを提案します。他の作業と同様に、2 項の目的関数を最小化する最適化問題を定式化します。方程式系からのカメラ固有の項と、解空間を制限する普遍的な項です。他の作業とは異なり、公開されている高品質のキャリブレーション データを使用して両方の用語を構築します。 Adobe DNG Converter が提供する測色マッピング マトリックスを使用して、カメラ固有の方程式系を定式化し、グラウンド トゥルース カーブのデータベースでトレーニングされたオートエンコーダーを使用して解を制約します。平均して、同じカメラの 2 つのコピー間の製造上の欠陥によって発生する可能性のある再構成エラーと同じくらい低い再構成エラーを達成しています。 Adobe DNG Converter が現在サポートしている 1,000 を超えるカメラの予測感度を提供し、カメラの応答が利用可能になったときにどのタスクが簡単になるかについて説明します。
A number of problems in computer vision and related fields would be mitigated if camera spectral sensitivities were known. As consumer cameras are not designed for high-precision visual tasks, manufacturers do not disclose spectral sensitivities. Their estimation requires a costly optical setup, which triggered researchers to come up with numerous indirect methods that aim to lower cost and complexity by using color targets. However, the use of color targets gives rise to new complications that make the estimation more difficult, and consequently, there currently exists no simple, low-cost, robust go-to method for spectral sensitivity estimation. Furthermore, even if not limited by hardware or cost, researchers frequently work with imagery from multiple cameras that they do not have in their possession. To provide a practical solution to this problem, we propose a framework for spectral sensitivity estimation that not only does not require any hardware, but also does not require physical access to the camera itself. Similar to other work, we formulate an optimization problem that minimizes a two-term objective function: a camera-specific term from a system of equations, and a universal term that bounds the solution space. Different than other work, we use publicly available high-quality calibration data to construct both terms. We use the colorimetric mapping matrices provided by the Adobe DNG Converter to formulate the camera-specific system of equations, and constrain the solutions using an autoencoder trained on a database of ground-truth curves. On average, we achieve reconstruction errors as low as those that can arise due to manufacturing imperfections between two copies of the same camera. We provide predicted sensitivities for more than 1,000 cameras that the Adobe DNG Converter currently supports, and discuss which tasks can become trivial when camera responses are available.
updated: Sun Apr 23 2023 06:18:07 GMT+0000 (UTC)
published: Sun Apr 23 2023 06:18:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト