画像のジオローカリゼーションは、特定の写真の地理的座標を予測するという困難なタスクです。これは、視覚的な手がかりと世界に関する一般的な知識を組み合わせて、地理的に正確な予測を行う能力に依存する未解決の問題です。 https://huggingface.co/geolocal/StreetCLIPStreetCLIP は、複数のオープン ドメイン画像ジオローカリゼーション ベンチマークで最先端のパフォーマンスを達成するだけでなく、ゼロ ショット設定でも実現する、堅牢で公開されている基盤モデルです。 、400 万枚以上の画像でトレーニングされた教師ありモデルよりも優れています。私たちの方法は、合成キャプションからCLIPを事前トレーニングし、選択したドメインでCLIPを接地することにより、一般化されたゼロショット学習のためのメタ学習アプローチを導入します。私たちの方法は、CLIP の一般化されたゼロ ショット機能を画像ジオローカリゼーションのドメインに効果的に移し、固定された一連のクラスで StreetCLIP を微調整することなく、ドメイン内の一般化されたゼロ ショット パフォーマンスを改善することを示します。
Image geolocalization is the challenging task of predicting the geographic coordinates of origin for a given photo. It is an unsolved problem relying on the ability to combine visual clues with general knowledge about the world to make accurate predictions across geographies. We present https://huggingface.co/geolocal/StreetCLIPStreetCLIP, a robust, publicly available foundation model not only achieving state-of-the-art performance on multiple open-domain image geolocalization benchmarks but also doing so in a zero-shot setting, outperforming supervised models trained on more than 4 million images. Our method introduces a meta-learning approach for generalized zero-shot learning by pretraining CLIP from synthetic captions, grounding CLIP in a domain of choice. We show that our method effectively transfers CLIP's generalized zero-shot capabilities to the domain of image geolocalization, improving in-domain generalized zero-shot performance without finetuning StreetCLIP on a fixed set of classes.