arXiv reaDer
干し草の山の中の針、高速:画像の知覚的類似性メトリクスの大規模なベンチマーク
Needle In A Haystack, Fast: Benchmarking Image Perceptual Similarity Metrics At Scale
インターネットの出現とそれに続くソーシャルメディアにより、インターネットにアクセスできる人の間で情報を消費および共有することがユビキタスになりました。この変化によって引き起こされたメディアの消費の進化は、自分自身を表現し、情報を伝え、他者を効率的に説得する手段としての画像の出現につながりました。コンピュータビジョンアルゴリズムが過去10年間で急激に進歩したことで、オンラインでの情報の流れにおける画像の役割を大規模に研究することがますます容易になりました。調査の質問と全体的なパイプラインは根本的に異なりますが、ほとんどすべてが重要な最初のステップである、異なる画像間のグローバルな知覚の類似性の評価から始まります。この最初のステップは、パイプライン全体のパフォーマンスにとって重要であり、ほとんどの画像を処理します。多くのアルゴリズムが利用可能であり、現在それを実行するために使用されていますが、これまでのところ、研究者の質問、仮定、および計算リソースに最適なアルゴリズムの選択に関して研究者の選択を導くための包括的なレビューはありませんでした。このホワイトペーパーでは、このギャップを埋めることを目指しており、従来のコンピュータービジョン手法が必ずしも最善のアプローチではないことを示しています。一方、比較的使用頻度の低い2つの手法(Dhash知覚ハッシュとSimCLR v2 ResNets)は、優れたパフォーマンスを実現し、拡張性が高く、計算効率が高いことを示しています。
The advent of the internet, followed shortly by the social media made it ubiquitous in consuming and sharing information between anyone with access to it. The evolution in the consumption of media driven by this change, led to the emergence of images as means to express oneself, convey information and convince others efficiently. With computer vision algorithms progressing radically over the last decade, it is become easier and easier to study at scale the role of images in the flow of information online. While the research questions and overall pipelines differ radically, almost all start with a crucial first step - evaluation of global perceptual similarity between different images. That initial step is crucial for overall pipeline performance and processes most images. A number of algorithms are available and currently used to perform it, but so far no comprehensive review was available to guide the choice of researchers as to the choice of an algorithm best suited to their question, assumptions and computational resources. With this paper we aim to fill this gap, showing that classical computer vision methods are not necessarily the best approach, whereas a pair of relatively little used methods - Dhash perceptual hash and SimCLR v2 ResNets achieve excellent performance, scale well and are computationally efficient.
updated: Wed Jun 01 2022 07:36:14 GMT+0000 (UTC)
published: Wed Jun 01 2022 07:36:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト