多くのコンピューター ビジョン研究は自然画像に焦点を当ててきましたが、技術文書は通常、チャート、図面、図、回路図などの抽象的な画像で構成されています。一般的な Web 検索エンジンは、抽象的な画像をどれくらいうまく発見できますか?コンピューター ビジョンと機械学習の最近の進歩により、逆画像検索エンジンが台頭しています。従来の検索エンジンがテキスト クエリを受け入れ、画像を含む一連のドキュメント結果を返すのに対し、逆画像検索はクエリとして画像を受け入れ、結果として一連の画像を返します。この論文では、一般的な逆画像検索エンジンが抽象画像をどれだけうまく発見できるかを評価します。私たちは、Baidu、Bing、Google、および Yandex によって十分にインデックス化されていることが知られている Web サイトである Wikimedia Commons の画像を活用して実験を行いました。画像を再度見つけるのがどれほど難しいか (取得可能性)、返された画像の何パーセントが関連しているか (精度)、訪問者が送信された画像を見つける前に確認しなければならない結果の平均数 (平均逆数ランク) を測定します。同様の画像の中から同じ画像を再度検出しようとすると、Yandex が最適なパフォーマンスを発揮します。特定の画像を含むページを検索する場合、Google と Yandex は、精度スコアがそれぞれ 0.8191 から 0.8297 の範囲の写真を発見する際に、他より優れています。どちらの場合も、Google と Yandex は抽象的な画像よりも自然な画像の方が優れたパフォーマンスを発揮し、これらのカテゴリの画像間で 54% もの検索可能性の差を達成しています。これらの結果は、一般的な Web 検索エンジンを使用して抽象的な画像を使用する技術文書を検索するすべての人に影響を与えます。
Much computer vision research has focused on natural images, but technical documents typically consist of abstract images, such as charts, drawings, diagrams, and schematics. How well do general web search engines discover abstract images? Recent advancements in computer vision and machine learning have led to the rise of reverse image search engines. Where conventional search engines accept a text query and return a set of document results, including images, a reverse image search accepts an image as a query and returns a set of images as results. This paper evaluates how well common reverse image search engines discover abstract images. We conducted an experiment leveraging images from Wikimedia Commons, a website known to be well indexed by Baidu, Bing, Google, and Yandex. We measure how difficult an image is to find again (retrievability), what percentage of images returned are relevant (precision), and the average number of results a visitor must review before finding the submitted image (mean reciprocal rank). When trying to discover the same image again among similar images, Yandex performs best. When searching for pages containing a specific image, Google and Yandex outperform the others when discovering photographs with precision scores ranging from 0.8191 to 0.8297, respectively. In both of these cases, Google and Yandex perform better with natural images than with abstract ones achieving a difference in retrievability as high as 54% between images in these categories. These results affect anyone applying common web search engines to search for technical documents that use abstract images.