画像検出システムは、物体検出のための畳み込みニューラルネットワーク(CNN)への入力としてますます使用されています。この目的に最適化されたカメラを設計したいと考えています。さまざまなカメラを構築し、すべての潜在的なカメラ設計に必要なデータを取得してラベルを付けることは実用的ではありません。コンテキストでのカメラのソフトウェアシミュレーションの作成(ソフトプロトタイピング)が唯一の現実的なアプローチです。画像の放射輝度とカメラの設計を定量的にシミュレートして、車検出のために畳み込みニューラルネットワークに入力する現実的な画像を作成できるソフトプロトタイプツールを実装しました。これらの方法を使用して、重要なハードウェアコンポーネント(ピクセルサイズ)、センサー制御(露出アルゴリズム)、画像処理(ガンマおよびデモザイキングアルゴリズム)が自動車検出の平均精度に与える影響を定量化しました。 (a)ピクセルサイズと異なる距離にある車を検出する能力との関係、(b)露出時間の短さを選択した場合のペナルティ、(c)さまざまなポストで車検出を実行するCNNの能力を定量化します。 -取得処理アルゴリズム。これらの結果は、消費者写真の画質に使用されるのと同じ指標によって、車検出の最適な選択肢が制約されないことを示しています。消費者の写真測定基準ではなく、タスク固有の測定基準でソフトプロトタイプを使用して、CNNアプリケーションのカメラ設計を評価することをお勧めします。
Imaging systems are increasingly used as input to convolutional neural networks (CNN) for object detection; we would like to design cameras that are optimized for this purpose. It is impractical to build different cameras and then acquire and label the necessary data for every potential camera design; creating software simulations of the camera in context (soft prototyping) is the only realistic approach. We implemented soft-prototyping tools that can quantitatively simulate image radiance and camera designs to create realistic images that are input to a convolutional neural network for car detection. We used these methods to quantify the effect that critical hardware components (pixel size), sensor control (exposure algorithms) and image processing (gamma and demosaicing algorithms) have upon average precision of car detection. We quantify (a) the relationship between pixel size and the ability to detect cars at different distances, (b) the penalty for choosing a poor exposure duration, and (c) the ability of the CNN to perform car detection for a variety of post-acquisition processing algorithms. These results show that the optimal choices for car detection are not constrained by the same metrics used for image quality in consumer photography. It is better to evaluate camera designs for CNN applications using soft prototyping with task-specific metrics rather than consumer photography metrics.