arXiv reaDer
自己教師あり表現学習による視覚的地理位置推定
Visual Geo-localization with Self-supervised Representation Learning
視覚的地理位置特定 (VG) は、視覚的特徴に基づいて地理位置を特定することを目的とした重要な研究分野として浮上しています。ほとんどの VG アプローチは、表現学習に学習可能な特徴抽出器を使用します。最近では、自己教師あり学習 (SSL) 手法も、多数のラベルなし画像を表現学習に使用することにより、教師付き手法と同等のパフォーマンスを実証しました。この研究では、SSL メソッドによって大規模な VG データセットのパフォーマンスとトレーニング効率を向上させることを目的とした、新しい統合 VG-SSL フレームワークを紹介します。私たちの取り組みには、VG 向けに調整された複数の SSL メソッド (SimCLR、MoCov2、BYOL、SimSiam、Barlow Twins、VICReg) が組み込まれています。私たちは、さまざまなトレーニング戦略のパフォーマンスを体系的に分析し、VG タスクに SSL メソッドを適応させるための最適なパラメーター設定を研究します。結果は、ハード ネガティブ マイニング (HNM) に関連する大量の計算とメモリ使用量を必要とせずに、私たちの方法が HNM を使用するベースラインの VG パフォーマンスと同等かそれを上回ることができることを示しています。コードは https://github.com/arplaboratory/VG_SSL で入手できます。
Visual Geo-localization (VG) has emerged as a significant research area, aiming to identify geolocation based on visual features. Most VG approaches use learnable feature extractors for representation learning. Recently, Self-Supervised Learning (SSL) methods have also demonstrated comparable performance to supervised methods by using numerous unlabeled images for representation learning. In this work, we present a novel unified VG-SSL framework with the goal to enhance performance and training efficiency on a large VG dataset by SSL methods. Our work incorporates multiple SSL methods tailored for VG: SimCLR, MoCov2, BYOL, SimSiam, Barlow Twins, and VICReg. We systematically analyze the performance of different training strategies and study the optimal parameter settings for the adaptation of SSL methods for the VG task. The results demonstrate that our method, without the significant computation and memory usage associated with Hard Negative Mining (HNM), can match or even surpass the VG performance of the baseline that employs HNM. The code is available at https://github.com/arplaboratory/VG_SSL.
updated: Fri Sep 15 2023 20:48:12 GMT+0000 (UTC)
published: Mon Jul 31 2023 19:03:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト