arXiv reaDer
単一の例でトレーニングされた可視および赤外線の自己教師あり融合
Visible and infrared self-supervised fusion trained on a single example
この論文では、可視 (RGB) と近赤外 (NIR) 画像の融合の問題を扱います。マルチスペクトル イメージングは​​、RGBT センサーの開発以来、画像処理とコンピュータ ビジョンに関連する重要なタスクとなっています。可視画像は色を認識し、ノイズ、かすみ、雲の影響を受けますが、NIR チャネルはより鮮明な画像をキャプチャするため、かすみ除去や物体検出などのアプリケーションで非常に必要とされます。提案されたアプローチは、単一の例で自己教師学習 (SSL) によって畳み込みニューラル ネットワーク (CNN) をトレーニングすることによって、これら 2 つの調整されたチャネルを融合します。 RGB と IR の各ペアについて、ネットワークは数秒間トレーニングされ、最終的な融合が推定されます。 SSL は、エッジ保存 (EP) 損失と組み合わせた類似構造 (SSIM) 損失に基づいています。 SSL のラベルは入力チャネルそのものです。この融合は、重度のトレーニング プロセスに基づくものではなく、各スペクトル チャネルの関連する詳細を保存します。実験セクションでは、提案されたアプローチは、大規模なデータセットのトレーニングに基づいていない他の最近の方法と比較して、より優れた定性的および定量的なマルチスペクトル融合結果を達成します。
This paper addresses the problem of visible (RGB) to Near-Infrared (NIR) image fusion. Multispectral imaging is an important task relevant to image processing and computer vision, even more, since the development of the RGBT sensor. While the visible image sees color and suffers from noise, haze, and clouds, the NIR channel captures a clearer picture and it is significantly required by applications such as dehazing or object detection. The proposed approach fuses these two aligned channels by training a Convolutional-Neural-Network (CNN) by a Self-Supervised-Learning (SSL) on a single example. For each such pair, RGB and IR, the network is trained for seconds to deduce the final fusion. The SSL is based on Sturcture-of-Similarity (SSIM) loss combined with Edge-Preservation (EP) loss. The labels for the SSL are the input channels themselves. This fusion preserves the relevant detail of each spectral channel while not based on a heavy training process. In the experiments section, the proposed approach achieves better qualitative and quantitative multispectral fusion results with respect to other recent methods, that are not based on large dataset training.
updated: Sun Jul 09 2023 05:25:46 GMT+0000 (UTC)
published: Sun Jul 09 2023 05:25:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト