arXiv reaDer
共面性を意識したGANによる教師なしホモグラフィ推定
Unsupervised Homography Estimation with Coplanarity-Aware GAN
画像ペアからホモグラフィを推定することは、画像の位置合わせにおける基本的な問題です。教師なし学習方法は、その有望なパフォーマンスとラベルのないトレーニングにより、この分野でますます注目を集めています。ただし、既存の方法では、平面に起因する視差の問題を明示的に考慮していません。これにより、予測されるホモグラフィが複数の平面で損なわれることになります。この作業では、支配的な平面に焦点を当てるために教師なしホモグラフィ推定を導くための新しい方法HomoGANを提案します。まず、マルチスケールのトランスネットワークは、入力画像の特徴ピラミッドからホモグラフィを粗いものから細かいものへと予測するように設計されています。さらに、教師なしGANを提案して、予測されたホモグラフィに共面制約を課します。これは、ジェネレータを使用して整列領域のマスクを予測し、次に2つのマスクされた特徴マップが単一のホモグラフィによって誘導されるかどうかをチェックするための弁別器を使用して実現されます。 HomoGANとそのコンポーネントの有効性を検証するために、大規模なデータセットで広範な実験を実施しました。その結果、マッチングエラーは以前のSOTAメソッドよりも22%低いことがわかりました。コードはhttps://github.com/megvii-research/HomoGANで入手できます。
Estimating homography from an image pair is a fundamental problem in image alignment. Unsupervised learning methods have received increasing attention in this field due to their promising performance and label-free training. However, existing methods do not explicitly consider the problem of plane-induced parallax, which will make the predicted homography compromised on multiple planes. In this work, we propose a novel method HomoGAN to guide unsupervised homography estimation to focus on the dominant plane. First, a multi-scale transformer network is designed to predict homography from the feature pyramids of input images in a coarse-to-fine fashion. Moreover, we propose an unsupervised GAN to impose coplanarity constraint on the predicted homography, which is realized by using a generator to predict a mask of aligned regions, and then a discriminator to check if two masked feature maps are induced by a single homography. To validate the effectiveness of HomoGAN and its components, we conduct extensive experiments on a large-scale dataset, and the results show that our matching error is 22% lower than the previous SOTA method. Code is available at https://github.com/megvii-research/HomoGAN.
updated: Sun May 08 2022 09:26:47 GMT+0000 (UTC)
published: Sun May 08 2022 09:26:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト