arXiv reaDer
カメラポーズ推定のためのネットワークのドメイン適応:ポーズラベルなしのカメラポーズ推定の学習
Domain Adaptation of Networks for Camera Pose Estimation: Learning Camera Pose Estimation Without Pose Labels
ディープラーニングに対する主な批判の1つは、高性能で優れた一般化機能を備えたモデルをトレーニングするには、高価で取得が困難なトレーニングデータが大量に必要になることです。シーン座標回帰(SCR)による単眼カメラポーズ推定のタスクに焦点を当て、ターゲットタスクのラベルにアクセスせずにモデルのトレーニングを可能にする新しい方法であるカメラポーズ推定(DANCE)のためのネットワークのドメイン適応について説明します。 。 DANCEには、ラベルのない画像(既知のポーズ、順序、またはシーン座標ラベルなし)と空間の3D表現(スキャンされた点群など)が必要です。どちらも、既製のコモディティハードウェアを使用して最小限の労力でキャプチャできます。 DANCEは、3Dモデルからラベル付けされた合成画像をレンダリングし、監視されていない画像レベルのドメイン適応技術(対になっていない画像から画像への変換)を適用することにより、合成画像と実際の画像の間の避けられないドメインギャップを埋めます。実際の画像でテストした場合、DANCEでトレーニングされたSCRモデルは、完全に監視されたモデル(どちらの場合も最終的なポーズ推定にPnP-RANSACを使用)と同等のパフォーマンスをわずかなコストで達成しました。コードとデータセットはhttps://github.com/JackLangerman/danceで入手できます。
One of the key criticisms of deep learning is that large amounts of expensive and difficult-to-acquire training data are required in order to train models with high performance and good generalization capabilities. Focusing on the task of monocular camera pose estimation via scene coordinate regression (SCR), we describe a novel method, Domain Adaptation of Networks for Camera pose Estimation (DANCE), which enables the training of models without access to any labels on the target task. DANCE requires unlabeled images (without known poses, ordering, or scene coordinate labels) and a 3D representation of the space (e.g., a scanned point cloud), both of which can be captured with minimal effort using off-the-shelf commodity hardware. DANCE renders labeled synthetic images from the 3D model, and bridges the inevitable domain gap between synthetic and real images by applying unsupervised image-level domain adaptation techniques (unpaired image-to-image translation). When tested on real images, the SCR model trained with DANCE achieved comparable performance to its fully supervised counterpart (in both cases using PnP-RANSAC for final pose estimation) at a fraction of the cost. Our code and dataset are available at https://github.com/JackLangerman/dance
updated: Mon Nov 29 2021 17:45:38 GMT+0000 (UTC)
published: Mon Nov 29 2021 17:45:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト