arXiv reaDer
LocalTrans: クロスレゾリューション ホモグラフィー推定のためのマルチスケール ローカル トランスフォーマー ネットワーク
LocalTrans: A Multiscale Local Transformer Network for Cross-Resolution Homography Estimation
マルチスケール ギガピクセル写真では、解像度間の画像の位置合わせが重要な問題であり、解像度のギャップが大きい画像を使用してホモグラフィ マトリックスを推定する必要があります。既存のディープ ホモグラフィ法は、入力画像または特徴を連結し、それらの間の対応の明示的な定式化を無視しているため、クロス解像度の課題で精度が低下します。この論文では、クロス解像度ホモグラフィ推定をマルチモーダル問題と見なし、マルチモーダル入力、つまり異なる解像度の入力画像間の対応を明示的に学習するために、マルチスケール構造内に埋め込まれたローカル変換ネットワークを提案します。提案されたローカル トランスフォーマーは、フィーチャ内の各位置に特化したローカル アテンション マップを採用します。ローカル トランスフォーマーとマルチスケール構造を組み合わせることで、ネットワークは長距離と短距離の対応を効率的かつ正確にキャプチャできます。 MS-COCO データセットと実際にキャプチャされたクロス解像度データセットの両方での実験は、提案されたネットワークが既存の最先端の特徴ベースおよび深層学習ベースのホモグラフィー推定方法よりも優れており、正確に位置合わせできることを示しています。解像度ギャップが 10 倍未満の画像。
Cross-resolution image alignment is a key problem in multiscale gigapixel photography, which requires to estimate homography matrix using images with large resolution gap. Existing deep homography methods concatenate the input images or features, neglecting the explicit formulation of correspondences between them, which leads to degraded accuracy in cross-resolution challenges. In this paper, we consider the cross-resolution homography estimation as a multimodal problem, and propose a local transformer network embedded within a multiscale structure to explicitly learn correspondences between the multimodal inputs, namely, input images with different resolutions. The proposed local transformer adopts a local attention map specifically for each position in the feature. By combining the local transformer with the multiscale structure, the network is able to capture long-short range correspondences efficiently and accurately. Experiments on both the MS-COCO dataset and the real-captured cross-resolution dataset show that the proposed network outperforms existing state-of-the-art feature-based and deep-learning-based homography estimation methods, and is able to accurately align images under 10× resolution gap.
updated: Tue Jun 08 2021 02:51:45 GMT+0000 (UTC)
published: Tue Jun 08 2021 02:51:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト