arXiv reaDer
実際の画像から拡張不変の埋め込みを生成する
Producing augmentation-invariant embeddings from real-life imagery
この記事では、実際の画像から機能が豊富で高次元の埋め込みスペースを作成する効率的な方法を紹介します。生成された機能は、ソーシャルメディアに表示される実際のケースで使用される拡張機能から独立するように設計されています。私たちのアプローチでは、畳み込みニューラルネットワーク(CNN)を使用して埋め込みスペースを作成します。 ArcFaceヘッドを使用して、自動的に生成された拡張機能を使用してモデルをトレーニングしました。さらに、同じセマンティック情報を含むさまざまな埋め込みからアンサンブルを作成する方法、外部データセットを使用して結果の埋め込みを正規化する方法、および多数のクラスを使用してこれらのモデルの迅速なトレーニングを実行する新しい方法を紹介します。 ArcFaceヘッド。このアプローチを使用して、2021年のFacebook AI画像類似性チャレンジ:記述子トラックで2位を獲得しました。
This article presents an efficient way to produce feature-rich, high-dimensionality embedding spaces from real-life images. The features produced are designed to be independent from augmentations used in real-life cases which appear on social media. Our approach uses convolutional neural networks (CNN) to produce an embedding space. An ArcFace head was used to train the model by employing automatically produced augmentations. Additionally, we present a way to make an ensemble out of different embeddings containing the same semantic information, a way to normalize the resulting embedding using an external dataset, and a novel way to perform quick training of these models with a high number of classes in the ArcFace head. Using this approach we achieved the 2nd place in the 2021 Facebook AI Image Similarity Challenge: Descriptor Track.
updated: Fri Dec 10 2021 22:33:48 GMT+0000 (UTC)
published: Mon Dec 06 2021 23:20:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト