自己監視によって少数の画像(100〜200)からランダムにサンプリングされたパッチをトレーニングすることにより、頻繁に出現するオブジェクトを発見できることを示します。このアプローチの鍵は、パターン空間です。これは、特定の画像データのすべての可能なサブ画像を表すパターンの潜在空間です。パターン空間の距離構造は、頻繁なオブジェクトによるパターンの共起をキャプチャします。パターン空間の埋め込みは、ランダムに生成された隣接するパッチ間の対照的な損失を最小限に抑えることによって学習されます。埋め込みが背景を学習するのを防ぐために、色ベースのオブジェクトの顕著性と背景の非類似性によって対照的な損失を変調します。学習された距離構造はオブジェクトメモリとして機能し、推論のためにサンプリングされたランダムパッチからパターンベクトルをクラスタリングすることにより、頻繁なオブジェクトが簡単に検出されます。画像パッチに基づく画像表現は、マルチオブジェクトの発見に不可欠な位置とスケールの不変性プロパティを自然に処理します。この方法は驚くほど効果的であることが証明されており、自然画像から複数の人間の顔や体を見つけるのにうまく適用されています。
We demonstrate that frequently appearing objects can be discovered by training randomly sampled patches from a small number of images (100 to 200) by self-supervision. Key to this approach is the pattern space, a latent space of patterns that represents all possible sub-images of the given image data. The distance structure in the pattern space captures the co-occurrence of patterns due to the frequent objects. The pattern space embedding is learned by minimizing the contrastive loss between randomly generated adjacent patches. To prevent the embedding from learning the background, we modulate the contrastive loss by color-based object saliency and background dissimilarity. The learned distance structure serves as object memory, and the frequent objects are simply discovered by clustering the pattern vectors from the random patches sampled for inference. Our image representation based on image patches naturally handles the position and scale invariance property that is crucial to multi-object discovery. The method has been proven surprisingly effective, and successfully applied to finding multiple human faces and bodies from natural images.