低照度のシーンからキャプチャされた画像は、視界の悪さ、色かぶり、激しいノイズなど、深刻な劣化に悩まされることがよくあります。これらの要因は、画質に影響を与えるだけでなく、ダウンストリームの低照度ビジョン(LLV)アプリケーションのパフォーマンスも低下させます。低照度画像の視覚的品質を向上させるために、さまざまな深層学習方法が提案されています。ただし、これらのアプローチは、適切な低照度モデルを取得するために重要なアーキテクチャエンジニアリングに主に依存しており、多くの場合、高い計算負荷に悩まされています。さらに、これらの拡張技術を拡張して他のLLVを処理することは依然として困難です。上記の問題に部分的に対処するために、Retinexに触発されたUnrolling with Architecture Search(RUAS)を確立します。これは、低照度の拡張タスクに対処できるだけでなく、他のより困難なダウンストリームビジョンアプリケーションを処理する柔軟性も備えた一般的な学習フレームワークです。具体的には、最初にネストされた最適化の定式化を展開戦略とともに確立して、一連のLLVタスクの基本原則を調査します。さらに、RUASの特定のシーンおよびタスクアーキテクチャを協調的に検索するための差別化可能な戦略を構築します。最後になりましたが、低レベルと高レベルの両方のLLVアプリケーション(拡張、検出、セグメンテーションなど)にRUASを適用する方法を示します。広範な実験により、RUASの柔軟性、有効性、および効率が検証されます。
Images captured from low-light scenes often suffer from severe degradations, including low visibility, color cast and intensive noises, etc. These factors not only affect image qualities, but also degrade the performance of downstream Low-Light Vision (LLV) applications. A variety of deep learning methods have been proposed to enhance the visual quality of low-light images. However, these approaches mostly rely on significant architecture engineering to obtain proper low-light models and often suffer from high computational burden. Furthermore, it is still challenging to extend these enhancement techniques to handle other LLVs. To partially address above issues, we establish Retinex-inspired Unrolling with Architecture Search (RUAS), a general learning framework, which not only can address low-light enhancement task, but also has the flexibility to handle other more challenging downstream vision applications. Specifically, we first establish a nested optimization formulation, together with an unrolling strategy, to explore underlying principles of a series of LLV tasks. Furthermore, we construct a differentiable strategy to cooperatively search specific scene and task architectures for RUAS. Last but not least, we demonstrate how to apply RUAS for both low- and high-level LLV applications (e.g., enhancement, detection and segmentation). Extensive experiments verify the flexibility, effectiveness, and efficiency of RUAS.