適切な近似類似性検索方法の採用は、特に大量のデータを処理する場合に、高速で効率的なCBIRシステムを開発するための必須の前提条件です。この研究では、局所性鋭敏型ハッシュ(LSH)インデックスの上にWeb画像検索エンジンを実装して、深い特徴の高速類似性検索を可能にします。具体的には、画像からの深い特徴抽出のために転移学習を活用します。まず、ImageNetで事前トレーニングされたInceptionV3を機能抽出機能として採用し、次に、データセットで微調整された畳み込みベースとしてInceptionV3上に構築されたいくつかのCNNを試します。前の両方のケースで、LSHインデックス実装内で抽出された特徴にインデックスを付けて、微調整がある場合とない場合の検索パフォーマンスを比較します。このアプローチでは、2つの異なるLSH実装を試します。 2つ目は、これらのベクトルのバイナリ転置バージョンです。興味深いことに、バイナリLSHを使用すると最高のパフォーマンスが得られ、特徴の順次スキャンを実行して得られる平均平均精度に関してほぼ同じ結果が得られるため、LSHインデックスによって生じるバイアスが回避されます。最後に、予想通り、2つの間に強い正の相関があるmAPhighlightingに対するリコールの観点から、クラスごとにパフォーマンス分析を実行します。
The adoption of an appropriate approximate similarity search method is an essential prereq-uisite for developing a fast and efficient CBIR system, especially when dealing with large amount ofdata. In this study we implement a web image search engine on top of a Locality Sensitive Hashing(LSH) Index to allow fast similarity search on deep features. Specifically, we exploit transfer learningfor deep features extraction from images. Firstly, we adopt InceptionV3 pretrained on ImageNet asfeatures extractor, secondly, we try out several CNNs built on top of InceptionV3 as convolutionalbase fine-tuned on our dataset. In both of the previous cases we index the features extracted within ourLSH index implementation so as to compare the retrieval performances with and without fine-tuning.In our approach we try out two different LSH implementations: the first one working with real numberfeature vectors and the second one with the binary transposed version of those vectors. Interestingly,we obtain the best performances when using the binary LSH, reaching almost the same result, in termsof mean average precision, obtained by performing sequential scan of the features, thus avoiding thebias introduced by the LSH index. Lastly, we carry out a performance analysis class by class in terms ofrecall againstmAPhighlighting, as expected, a strong positive correlation between the two.