arXiv reaDer
画像検索のためのVisionTransformerハッシュ
Vision Transformer Hashing for Image Retrieval
ディープラーニングは、画像検索のためのハッシュ技術の驚異的な成長を示しています。最近、Transformerは、畳み込みのない自己注意を利用することにより、新しいアーキテクチャとして登場しました。 TransformerはVisionTransformer(ViT)にも拡張されており、ImageNetで有望なパフォーマンスを備えた視覚認識を実現します。この論文では、画像検索のためのVision Transformerベースのハッシュ(VTS)を提案します。 ImageNetで事前にトレーニングされたViTをバックボーンネットワークとして利用し、ハッシュヘッドを追加します。提案されたVTSモデルは、6つの異なる画像検索フレームワークの下でハッシュするように微調整されています。それらの目的関数。 CIFAR10、ImageNet、NUS-Wide、およびCOCOデータセットで広範な実験を実行します。提案されたVTSベースの画像検索は、最近の最先端のハッシュ手法を大幅に上回っています。また、バックボーンネットワークはAlexNetやResNetなどの既存のネットワークよりも優れているため、提案されたVTSモデルも見つかります。コードはhttps://github.com/shivram1987/VisionTransformerHashingでリリースされています。
Deep learning has shown a tremendous growth in hashing techniques for image retrieval. Recently, Transformer has emerged as a new architecture by utilizing self-attention without convolution. Transformer is also extended to Vision Transformer (ViT) for the visual recognition with a promising performance on ImageNet. In this paper, we propose a Vision Transformer based Hashing (VTS) for image retrieval. We utilize the pre-trained ViT on ImageNet as the backbone network and add the hashing head. The proposed VTS model is fine tuned for hashing under six different image retrieval frameworks, including Deep Supervised Hashing (DSH), HashNet, GreedyHash, Improved Deep Hashing Network (IDHN), Deep Polarized Network (DPN) and Central Similarity Quantization (CSQ) with their objective functions. We perform the extensive experiments on CIFAR10, ImageNet, NUS-Wide, and COCO datasets. The proposed VTS based image retrieval outperforms the recent state-of-the-art hashing techniques with a great margin. We also find the proposed VTS model as the backbone network is better than the existing networks, such as AlexNet and ResNet. The code is released at https://github.com/shivram1987/VisionTransformerHashing.
updated: Tue Mar 22 2022 16:19:13 GMT+0000 (UTC)
published: Sun Sep 26 2021 11:28:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト