arXiv reaDer
オープンドメイン画像ジオローカリゼーションのための一般化ゼロショット学習器の学習
Learning Generalized Zero-Shot Learners for Open-Domain Image Geolocalization
画像のジオローカリゼーションは、特定の写真の地理的座標を予測するという困難なタスクです。これは、視覚的な手がかりと世界に関する一般的な知識を組み合わせて、地理的に正確な予測を行う能力に依存する未解決の問題です。 https://huggingface.co/geolocal/StreetCLIPStreetCLIP は、複数のオープン ドメイン画像ジオローカリゼーション ベンチマークで最先端のパフォーマンスを達成するだけでなく、ゼロ ショット設定でも実現する、堅牢で公開されている基盤モデルです。 、400 万枚以上の画像でトレーニングされた教師ありモデルよりも優れています。私たちの方法は、合成キャプションからCLIPを事前トレーニングし、選択したドメインでCLIPを接地することにより、一般化されたゼロショット学習のためのメタ学習アプローチを導入します。私たちの方法は、CLIP の一般化されたゼロ ショット機能を画像ジオローカリゼーションのドメインに効果的に移し、固定された一連のクラスで StreetCLIP を微調整することなく、ドメイン内の一般化されたゼロ ショット パフォーマンスを改善することを示します。
Image geolocalization is the challenging task of predicting the geographic coordinates of origin for a given photo. It is an unsolved problem relying on the ability to combine visual clues with general knowledge about the world to make accurate predictions across geographies. We present https://huggingface.co/geolocal/StreetCLIPStreetCLIP, a robust, publicly available foundation model not only achieving state-of-the-art performance on multiple open-domain image geolocalization benchmarks but also doing so in a zero-shot setting, outperforming supervised models trained on more than 4 million images. Our method introduces a meta-learning approach for generalized zero-shot learning by pretraining CLIP from synthetic captions, grounding CLIP in a domain of choice. We show that our method effectively transfers CLIP's generalized zero-shot capabilities to the domain of image geolocalization, improving in-domain generalized zero-shot performance without finetuning StreetCLIP on a fixed set of classes.
updated: Wed Feb 01 2023 06:44:07 GMT+0000 (UTC)
published: Wed Feb 01 2023 06:44:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト