Transformerアーキテクチャは、近年急速な発展を遂げており、画像分類用のVisionTransformers(ViT)など、多くのコンピュータビジョンタスクでCNNアーキテクチャを上回っています。ただし、既存のビジュアルトランスフォーマーモデルは、分類や検出などの高レベルのタスクのセマンティック情報を抽出し、入力画像の空間解像度を歪め、入力を再構築したり高解像度画像を生成したりする能力を犠牲にすることを目的としています。したがって、この論文では、上記の問題に効果的に対処するためのパッチPyramidTransformer(PPT)を提案します。具体的には、まず、画像をパッチのシーケンスに変換するパッチトランスフォーマーを設計し、パッチごとにトランスフォーマーエンコーディングを実行してローカル表現を抽出します。さらに、ピラミッドトランスフォーマーを構築して、画像全体から非ローカル情報を効果的に抽出します。 。元の画像のマルチスケール、多次元、およびマルチアングルの特徴のセットを取得した後、特徴を元の入力に再構築できるように、画像再構成ネットワークを設計します。有効性を検証するために、提案されたパッチピラミッドトランスフォーマーを画像融合タスクに適用します。実験結果は、最先端の融合アプローチに対して優れたパフォーマンスを示し、いくつかの評価指標で最良の結果を達成します。 PPTネットワークの基本的な容量は、機能の抽出と画像の再構築におけるその普遍的な力に反映されており、ネットワークを再設計または再トレーニングすることなく、さまざまな画像融合タスクに直接適用できます。
The Transformer architecture has achieved rapiddevelopment in recent years, outperforming the CNN archi-tectures in many computer vision tasks, such as the VisionTransformers (ViT) for image classification. However, existingvisual transformer models aim to extract semantic informationfor high-level tasks such as classification and detection, distortingthe spatial resolution of the input image, thus sacrificing thecapacity in reconstructing the input or generating high-resolutionimages. In this paper, therefore, we propose a Patch PyramidTransformer(PPT) to effectively address the above issues. Specif-ically, we first design a Patch Transformer to transform theimage into a sequence of patches, where transformer encodingis performed for each patch to extract local representations.In addition, we construct a Pyramid Transformer to effectivelyextract the non-local information from the entire image. Afterobtaining a set of multi-scale, multi-dimensional, and multi-anglefeatures of the original image, we design the image reconstructionnetwork to ensure that the features can be reconstructed intothe original input. To validate the effectiveness, we apply theproposed Patch Pyramid Transformer to the image fusion task.The experimental results demonstrate its superior performanceagainst the state-of-the-art fusion approaches, achieving the bestresults on several evaluation indicators. The underlying capacityof the PPT network is reflected by its universal power in featureextraction and image reconstruction, which can be directlyapplied to different image fusion tasks without redesigning orretraining the network.