arXiv reaDer
粗い方が良いのか?キュレーションされていない画像を使用した自己教師あり学習に向けた新しいパイプライン
Coarse Is Better? A New Pipeline Towards Self-Supervised Learning with Uncurated Images
ほとんどの自己教師あり学習 (SSL) 手法は、多くの場合、オブジェクト中心の仮定が適用される厳選されたデータセットで機能します。この仮定は、厳選されていない画像では崩れます。既存のシーン イメージ SSL メソッドは、元のシーン イメージからよく一致している、または密な 2 つのビューを見つけようとしますが、これは複雑で計算量が多くなります。このペーパーでは、概念的に異なるパイプラインを提案します。まず、(適切なオブジェクト性を備えた)粗いオブジェクトである領域を見つけ、それらを疑似オブジェクト中心の画像として切り出します。その後、実際のオブジェクト中心のデータセットと同様に、任意の SSL メソッドを直接適用できます。つまり、粗いクロップはシーン画像の SSL にメリットをもたらします。粗いオブジェクトボックスを生成する新しいクロッピング戦略を提案する。新しいパイプラインとトリミング戦略は、ImageNet を使用せずに、キュレートされていないデータセットから高品質の特徴を学習することに成功しました。実験では、私たちのパイプラインが分類、検出、セグメンテーションのタスクにおいて既存の SSL メソッド (MoCo-v2、DenseCL、MAE) よりも優れていることが示されています。さらに、次のことを検証するために大規模なアブレーションを実行します。1) パイプラインが事前トレーニングされたモデルに依存していない。 2) トリミング戦略は既存のオブジェクト発見方法よりも優れています。 3) 私たちの方法はハイパーパラメータやデータ拡張の影響を受けません。
Most self-supervised learning (SSL) methods often work on curated datasets where the object-centric assumption holds. This assumption breaks down in uncurated images. Existing scene image SSL methods try to find the two views from original scene images that are well matched or dense, which is both complex and computationally heavy. This paper proposes a conceptually different pipeline: first find regions that are coarse objects (with adequate objectness), crop them out as pseudo object-centric images, then any SSL method can be directly applied as in a real object-centric dataset. That is, coarse crops benefits scene images SSL. A novel cropping strategy that produces coarse object box is proposed. The new pipeline and cropping strategy successfully learn quality features from uncurated datasets without ImageNet. Experiments show that our pipeline outperforms existing SSL methods (MoCo-v2, DenseCL and MAE) on classification, detection and segmentation tasks. We further conduct extensively ablations to verify that: 1) the pipeline do not rely on pretrained models; 2) the cropping strategy is better than existing object discovery methods; 3) our method is not sensitive to hyperparameters and data augmentations.
updated: Thu Jun 08 2023 06:30:36 GMT+0000 (UTC)
published: Wed Jun 07 2023 08:35:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト