arXiv reaDer
SelfPromer: 深度の一貫性を備えたセルフプロンプトのかすみ除去トランスフォーマー
SelfPromer: Self-Prompt Dehazing Transformers with Depth-Consistency
この作品は、画像のかすみ除去のための効果的な深度一貫性の自己プロンプト Transformer を提示します。これは、ヘイズ残留物を含む画像とその透明な対応物を含む画像の推定深度が異なるという観察によって動機付けられています。したがって、かすみを除去した画像と鮮明な画像の深度の一貫性を確保することは、かすみを除去するために不可欠です。この目的のために、ぼやけた入力画像と対応する明確な対応物との間の深さの違いの特徴に基づいてプロンプトを作成し、かすみ除去モデルをより適切に復元できるようにします。具体的には、まず、入力画像から抽出された深層特徴を深度差特徴に適用して、入力にヘイズ残差情報を含むプロンプトを生成します。次に、プロンプトを深い特徴に線形に追加することにより、ヘイズの残差を認識するように設計されたプロンプト埋め込みモジュールを提案します。さらに、効果的な迅速な注意モジュールを開発して、より良い除去のためにヘイズ残留物にもっと注意を払います。プロンプト、プロンプト埋め込み、プロンプト アテンションを VQGAN に基づくエンコーダー デコーダー ネットワークに組み込むことで、より優れた知覚品質を実現できます。明確な画像の深さは推論では利用できず、1 回のフィードフォワード実行によるかすみ除去された画像にはまだかすみ残余の一部が含まれている可能性があるため、かすみ除去モデルを繰り返し修正できる新しい連続自己プロンプト推論を提案しますかすみのない画像生成が向上します。広範な実験により、NIQE、PI、および PIQE を含む知覚メトリックに関して、合成データセットと現実世界のデータセットの両方に対する最先端のアプローチに対して、私たちの方法が有利に機能することが示されています。
This work presents an effective depth-consistency self-prompt Transformer for image dehazing. It is motivated by an observation that the estimated depths of an image with haze residuals and its clear counterpart vary. Enforcing the depth consistency of dehazed images with clear ones, therefore, is essential for dehazing. For this purpose, we develop a prompt based on the features of depth differences between the hazy input images and corresponding clear counterparts that can guide dehazing models for better restoration. Specifically, we first apply deep features extracted from the input images to the depth difference features for generating the prompt that contains the haze residual information in the input. Then we propose a prompt embedding module that is designed to perceive the haze residuals, by linearly adding the prompt to the deep features. Further, we develop an effective prompt attention module to pay more attention to haze residuals for better removal. By incorporating the prompt, prompt embedding, and prompt attention into an encoder-decoder network based on VQGAN, we can achieve better perception quality. As the depths of clear images are not available at inference, and the dehazed images with one-time feed-forward execution may still contain a portion of haze residuals, we propose a new continuous self-prompt inference that can iteratively correct the dehazing model towards better haze-free image generation. Extensive experiments show that our method performs favorably against the state-of-the-art approaches on both synthetic and real-world datasets in terms of perception metrics including NIQE, PI, and PIQE.
updated: Mon Mar 13 2023 11:47:24 GMT+0000 (UTC)
published: Mon Mar 13 2023 11:47:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト