arXiv reaDer
イメージフュージョントランスフォーマー
Image Fusion Transformer
画像融合では、さまざまなセンサーから取得した画像を融合して、情報が強化された単一の画像を生成します。近年、最先端の手法では、畳み込みニューラルネットワーク(CNN)を採用して、画像融合のための意味のある機能をエンコードしています。具体的には、CNNベースの方法は、局所的な特徴を融合することによって画像融合を実行します。ただし、イメージに存在する長距離の依存関係は考慮されません。 Transformerベースのモデルは、自己注意メカニズムの助けを借りて長距離の依存関係をモデル化することにより、これを克服するように設計されています。これにより、ローカル情報と長距離情報(またはグローバルコンテキスト)の両方に対応するトランスフォーマーベースのマルチスケールフュージョン戦略を開発する、新しいImage Fusion Transformer(IFT)を提案するようになりました。提案された方法は、2段階のトレーニングアプローチに従います。最初の段階では、オートエンコーダーをトレーニングして、複数のスケールで深い特徴を抽出します。第2段階では、マルチスケール機能がSpatio-Transformer(ST)融合戦略を使用して融合されます。 STフュージョンブロックは、CNNとトランスブランチで構成され、それぞれローカル機能と長距離機能をキャプチャします。複数のベンチマークデータセットでの広範な実験は、提案された方法が多くの競合する融合アルゴリズムよりも優れていることを示しています。さらに、アブレーション分析で提案されたST融合戦略の有効性を示します。ソースコードはhttps://github.com/Vibashan/Image-Fusion-Transformerで入手できます。
In image fusion, images obtained from different sensors are fused to generate a single image with enhanced information. In recent years, state-of-the-art methods have adopted Convolution Neural Networks (CNNs) to encode meaningful features for image fusion. Specifically, CNN-based methods perform image fusion by fusing local features. However, they do not consider long-range dependencies that are present in the image. Transformer-based models are designed to overcome this by modeling the long-range dependencies with the help of self-attention mechanism. This motivates us to propose a novel Image Fusion Transformer (IFT) where we develop a transformer-based multi-scale fusion strategy that attends to both local and long-range information (or global context). The proposed method follows a two-stage training approach. In the first stage, we train an auto-encoder to extract deep features at multiple scales. In the second stage, multi-scale features are fused using a Spatio-Transformer (ST) fusion strategy. The ST fusion blocks are comprised of a CNN and a transformer branch which capture local and long-range features, respectively. Extensive experiments on multiple benchmark datasets show that the proposed method performs better than many competitive fusion algorithms. Furthermore, we show the effectiveness of the proposed ST fusion strategy with an ablation analysis. The source code is available at: https://github.com/Vibashan/Image-Fusion-Transformer.
updated: Sun Dec 04 2022 22:25:02 GMT+0000 (UTC)
published: Mon Jul 19 2021 16:42:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト