arXiv reaDer
Attention-Guided NIR Image Colorization via Adaptive Fusion of Semantic and Texture Clues
近赤外線(NIR)イメージングは、低照度のイメージングシナリオで広く適用されています。ただし、人間とアルゴリズムが無色のNIRドメインで実際のシーンを認識することは困難です。 Generative Adversarial Network(GAN)はさまざまな画像の色付けタスクで広く採用されていますが、従来のGANなどの直接マッピングメカニズムでは、正しい意味論的推論を使用して画像をNIRからRGBドメインに変換することは困難です。保存されたテクスチャと鮮やかな色の組み合わせを同時に。この作業では、同じフレームワーク内でこれらの目標を達成することを目的として、セマンティックとテクスチャの手がかりの適応融合を介して、新しい注意ベースのNIR画像カラー化フレームワークを提案します。テクスチャ転送とセマンティック推論のタスクは、2つの別々のネットワークブロックで実行されます。具体的には、テクスチャ転送ブロック(TTB)は、NIR画像のラプラシアンコンポーネントからテクスチャの特徴を抽出し、その後の色の融合のためにそれらを転送することを目的としています。セマンティック推論ブロック(SRB)は、セマンティックの手がかりを抽出し、NIRピクセル値をRGBドメインにマップします。最後に、2つのブランチからの特徴を適応的に融合し、最適化された色付け結果を生成するために、Fusion Attention Block(FAB)が提案されています。セマンティック推論におけるネットワークの学習能力とテクスチャ転送におけるマッピング精度を強化するために、我々は、残余学習フレームワークに座標注意を組み込み、ネットワークが長距離をキャプチャできるようにする残余座標注意ブロック(RCAB)を提案しました。チャネル方向に沿った依存関係と、その間、正確な位置情報を空間方向に沿って保存できます。 RCABはFABにも組み込まれており、融合中の正確なテクスチャアライメントを容易にします。定量的評価と定性的評価の両方で、提案された方法が最先端のNIR画像カラー化方法よりも優れていることが示されています。
Near infrared (NIR) imaging has been widely applied in low-light imaging scenarios; however, it is difficult for human and algorithms to perceive the real scene in the colorless NIR domain. While Generative Adversarial Network (GAN) has been widely employed in various image colorization tasks, it is challenging for a direct mapping mechanism, such as a conventional GAN, to transform an image from the NIR to the RGB domain with correct semantic reasoning, well-preserved textures, and vivid color combinations concurrently. In this work, we propose a novel Attention-based NIR image colorization framework via Adaptive Fusion of Semantic and Texture clues, aiming at achieving these goals within the same framework. The tasks of texture transfer and semantic reasoning are carried out in two separate network blocks. Specifically, the Texture Transfer Block (TTB) aims at extracting texture features from the NIR image's Laplacian component and transferring them for subsequent color fusion. The Semantic Reasoning Block (SRB) extracts semantic clues and maps the NIR pixel values to the RGB domain. Finally, a Fusion Attention Block (FAB) is proposed to adaptively fuse the features from the two branches and generate an optimized colorization result. In order to enhance the network's learning capacity in semantic reasoning as well as mapping precision in texture transfer, we have proposed the Residual Coordinate Attention Block (RCAB), which incorporates coordinate attention into a residual learning framework, enabling the network to capture long-range dependencies along the channel direction and meanwhile precise positional information can be preserved along spatial directions. RCAB is also incorporated into FAB to facilitate accurate texture alignment during fusion. Both quantitative and qualitative evaluations show that the proposed method outperforms state-of-the-art NIR image colorization methods.
updated: Tue Jul 20 2021 03:00:51 GMT+0000 (UTC)
published: Tue Jul 20 2021 03:00:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト