有彩色のキャストによって引き起こされるさまざまな色のもやは、かすみの除去と深度推定の課題をもたらします。最近の学習ベースの深度推定方法は、主に、最初にかすみを除去し、続いてかすみのないシーンから深度を推定することを目的としています。このようにして、色付きのかすみとシーンの奥行きの間の内部接続が失われます。この論文では、単一画像の深度推定とヘイズ除去を同時に行うためのリアルタイム変換器 (DEHRFormer) を提案します。 DEHRFormer は、1 つのエンコーダーと 2 つのタスク固有のデコーダーで構成されます。学習可能なクエリを備えたトランスフォーマー デコーダーは、タスクに依存しないエンコーダーから結合機能をデコードし、それらをそれぞれクリーン イメージと深度マップに投影するように設計されています。さらに、コントラスト学習とドメイン整合性学習を利用して、実世界のかすみ除去の弱い一般化問題に取り組み、同じシーンから色とりどりのもやで同じ深度マップを予測する新しい学習パラダイムを紹介します。実験では、DEHRFormer が、以前の深度推定ネットワークおよびかすみ除去アプローチよりも、多様なさまざまな色のかすみシーン全体で大幅なパフォーマンスの向上を達成することが実証されています。
Varicolored haze caused by chromatic casts poses haze removal and depth estimation challenges. Recent learning-based depth estimation methods are mainly targeted at dehazing first and estimating depth subsequently from haze-free scenes. This way, the inner connections between colored haze and scene depth are lost. In this paper, we propose a real-time transformer for simultaneous single image Depth Estimation and Haze Removal (DEHRFormer). DEHRFormer consists of a single encoder and two task-specific decoders. The transformer decoders with learnable queries are designed to decode coupling features from the task-agnostic encoder and project them into clean image and depth map, respectively. In addition, we introduce a novel learning paradigm that utilizes contrastive learning and domain consistency learning to tackle weak-generalization problem for real-world dehazing, while predicting the same depth map from the same scene with varicolored haze. Experiments demonstrate that DEHRFormer achieves significant performance improvement across diverse varicolored haze scenes over previous depth estimation networks and dehazing approaches.