arXiv reaDer
TransMEF:自己監視型マルチタスク学習を使用したトランスフォーマーベースの多重露光画像融合フレームワーク
TransMEF: A Transformer-Based Multi-Exposure Image Fusion Framework using Self-Supervised Multi-Task Learning
本論文では、自己監視マルチタスク学習を使用するトランスベースの多重露光画像融合フレームワークであるTransMEFを提案します。フレームワークはエンコーダー-デコーダーネットワークに基づいており、大規模な自然画像データセットでトレーニングでき、グラウンドトゥルース融合画像を必要としません。多重露光画像の特性に応じて3つの自己監視再構成タスクを設計し、マルチタスク学習を使用してこれらのタスクを同時に実行します。このプロセスを通じて、ネットワークは多重露光画像の特性を学習し、より一般化された特徴を抽出できます。さらに、CNNベースのアーキテクチャで長距離依存関係を確立する際の欠陥を補うために、CNNモジュールとトランスモジュールを組み合わせたエンコーダを設計します。この組み合わせにより、ネットワークはローカル情報とグローバル情報の両方に集中できます。私たちは私たちの方法を評価し、最新のリリースされた多重露光画像融合ベンチマークデータセットで11の競合する従来の深層学習ベースの方法と比較し、私たちの方法は主観的評価と客観的評価の両方で最高のパフォーマンスを達成しました。
In this paper, we propose TransMEF, a transformer-based multi-exposure image fusion framework that uses self-supervised multi-task learning. The framework is based on an encoder-decoder network, which can be trained on large natural image datasets and does not require ground truth fusion images. We design three self-supervised reconstruction tasks according to the characteristics of multi-exposure images and conduct these tasks simultaneously using multi-task learning; through this process, the network can learn the characteristics of multi-exposure images and extract more generalized features. In addition, to compensate for the defect in establishing long-range dependencies in CNN-based architectures, we design an encoder that combines a CNN module with a transformer module. This combination enables the network to focus on both local and global information. We evaluated our method and compared it to 11 competitive traditional and deep learning-based methods on the latest released multi-exposure image fusion benchmark dataset, and our method achieved the best performance in both subjective and objective evaluations.
updated: Wed Dec 15 2021 12:54:43 GMT+0000 (UTC)
published: Thu Dec 02 2021 07:43:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト