arXiv reaDer
ディープ ホモグラフィ推定のドメイン シフト耐性の分析
Analyzing the Domain Shift Immunity of Deep Homography Estimation
ホモグラフィ推定は、多くのアプリケーションで基本的な画像位置合わせ方法です。最近、畳み込みニューラル ネットワーク (CNN) の開発により、いくつかの学習ベースのアプローチがこのタスクで大きな成功を収めています。ただし、さまざまなドメインでのパフォーマンスは調査されていません。他の一般的なタスク (分類、検出、セグメンテーションなど) とは異なり、CNN ベースのホモグラフィ推定モデルはドメイン シフト耐性を示します。これは、モデルを 1 つのデータセットでトレーニングし、転移学習なしで別のデータセットでテストできることを意味します。この異常なパフォーマンスを説明するには、CNN がホモグラフィを推定する方法を決定する必要があります。この研究では、最初に、さまざまなディープホモグラフィ推定モデルのドメインシフト耐性を示します。次に、特別に設計されたデータセットを含む浅いネットワークを使用して、推定に使用される特徴を分析します。結果は、ネットワークが低レベルのテクスチャ情報を使用してホモグラフィを推定することを示しています。また、調査結果を実証するために、いくつかの一般的なデータセットで異なるテクスチャ密度と歪んだ画像機能間のパフォーマンスを比較するためのいくつかの実験を設計します。これらの発見に基づいて、ディープ ホモグラフィ推定のドメイン シフト耐性について説明します。
Homography estimation is a basic image-alignment method in many applications. Recently, with the development of convolutional neural networks (CNNs), some learning based approaches have shown great success in this task. However, the performance across different domains has never been researched. Unlike other common tasks (e.g. , classification, detection, segmentation), CNN based homography estimation models show a domain shift immunity, which means a model can be trained on one dataset and tested on another without any transfer learning. To explain this unusual performance, we need to determine how CNNs estimate homography. In this study, we first show the domain shift immunity of different deep homography estimation models. We then use a shallow network with a specially designed dataset to analyze the features used for estimation. The results show that networks use low-level texture information to estimate homography. We also design some experiments to compare the performance between different texture densities and image features distorted on some common datasets to demonstrate our findings. Based on these findings, we provide an explanation of the domain shift immunity of deep homography estimation.
updated: Wed Apr 19 2023 21:28:31 GMT+0000 (UTC)
published: Wed Apr 19 2023 21:28:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト