画像信号プロセッサ(ISP)は、センサー信号を画像に変換して認識および理解できるようにするデジタルカメラの重要なコンポーネントです。既存のISP設計は、常に固定アーキテクチャを採用しています。たとえば、複数のシーケンシャルモジュールが厳密な順序で接続されています。このような固定ISPアーキテクチャは、カメラセンサー、シーン、およびタスクが多様である実際のアプリケーションには最適ではない可能性があります。この研究では、アーキテクチャとパラメータを特定のデータとタスクに合わせて自動的に調整できる、新しい再構成可能ISP(ReconfigISP)を提案します。特に、いくつかのISPモジュールを実装し、微分可能なプロキシをトレーニングすることで各モジュールのバックプロパゲーションを可能にします。これにより、人気のある微分可能なニューラルアーキテクチャ検索を活用し、最適なISPアーキテクチャを効果的に検索できます。すべての場合にプロキシネットワークの精度を維持するために、プロキシ調整メカニズムが採用されています。さまざまなセンサー、光条件、効率の制約を使用して、画像の復元とオブジェクトの検出について行われた広範な実験により、ReconfigISPの有効性が検証されます。すべてのタスクを調整する必要があるのは、数百のパラメーターだけです。
Image Signal Processor (ISP) is a crucial component in digital cameras that transforms sensor signals into images for us to perceive and understand. Existing ISP designs always adopt a fixed architecture, e.g., several sequential modules connected in a rigid order. Such a fixed ISP architecture may be suboptimal for real-world applications, where camera sensors, scenes and tasks are diverse. In this study, we propose a novel Reconfigurable ISP (ReconfigISP) whose architecture and parameters can be automatically tailored to specific data and tasks. In particular, we implement several ISP modules, and enable backpropagation for each module by training a differentiable proxy, hence allowing us to leverage the popular differentiable neural architecture search and effectively search for the optimal ISP architecture. A proxy tuning mechanism is adopted to maintain the accuracy of proxy networks in all cases. Extensive experiments conducted on image restoration and object detection, with different sensors, light conditions and efficiency constraints, validate the effectiveness of ReconfigISP. Only hundreds of parameters need tuning for every task.