arXiv reaDer
Mixed Autoencoder for Self-supervised Visual Representation Learning
Masked Autoencoder (MAE) は、画像パッチをランダムにマスキングして再構成することにより、さまざまな視覚タスクで優れたパフォーマンスを発揮することを実証しています。ただし、MAE の効果的なデータ拡張戦略は、最も重要な部分として機能する対照学習の戦略とは異なり、未解決の問題のままです。この論文では、MAE の一般的な混合増強を研究しています。最初に、相互情報量(MI)の増加により、単純な混合が対照的にモデルのパフォーマンスを低下させることを示します。対処するために、補助的な口実タスクである相同認識を提案します。これは、各パッチに相同パッチを認識することを明示的に要求することによって MI の増加を軽減するだけでなく、下流の高密度知覚パフォーマンスを向上させるためにオブジェクト認識自己教師付き事前トレーニングを実行することも目的としています。広範な実験により、提案された Mixed Autoencoder (MixedAE) が、さまざまなダウンストリーム タスクのマスクされた画像モデリング (MIM) 拡張の間で最先端の転送結果を大幅に効率的に達成することを示します。具体的には、当社の MixedAE は、標準の ViT-Base を使用して、ImageNet-1K、ADE20K、および COCO でそれぞれ +0.3% の精度、+1.7 mIoU、および +0.9 AP で MAE を上回ります。さらに、MixedAE は、インスタンス識別と組み合わせた強力な MIM メソッドである iBOT を上回り、トレーニングを 2 倍高速化します。私たちの知る限り、これは、口実タスク設計の観点から MIM の混合を検討した最初の作業です。コードが利用可能になります。
Masked Autoencoder (MAE) has demonstrated superior performance on various vision tasks via randomly masking image patches and reconstruction. However, effective data augmentation strategies for MAE still remain open questions, different from those in contrastive learning that serve as the most important part. This paper studies the prevailing mixing augmentation for MAE. We first demonstrate that naive mixing will in contrast degenerate model performance due to the increase of mutual information (MI). To address, we propose homologous recognition, an auxiliary pretext task, not only to alleviate the MI increasement by explicitly requiring each patch to recognize homologous patches, but also to perform object-aware self-supervised pre-training for better downstream dense perception performance. With extensive experiments, we demonstrate that our proposed Mixed Autoencoder (MixedAE) achieves the state-of-the-art transfer results among masked image modeling (MIM) augmentations on different downstream tasks with significant efficiency. Specifically, our MixedAE outperforms MAE by +0.3% accuracy, +1.7 mIoU and +0.9 AP on ImageNet-1K, ADE20K and COCO respectively with a standard ViT-Base. Moreover, MixedAE surpasses iBOT, a strong MIM method combined with instance discrimination, while accelerating training by 2x. To our best knowledge, this is the very first work to consider mixing for MIM from the perspective of pretext task design. Code will be made available.
updated: Wed Feb 07 2024 13:53:38 GMT+0000 (UTC)
published: Thu Mar 30 2023 05:19:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト