arXiv reaDer
自己教師あり物体検出事前訓練に関する研究
A Study on Self-Supervised Object Detection Pretraining
この作業では、オブジェクト検出モデルの自己教師あり事前トレーニングへのさまざまなアプローチを研究します。まず、ボックスをランダムにサンプリングして各拡張ビューに投影し、対応するボックスの特徴間の類似性を最大化することにより、画像から空間的に一貫した密な表現を学習するための一般的なフレームワークを設計します。ボックス生成、特徴抽出戦略、インスタンスレベルの画像表現学習手法での成功に触発された複数のビューの使用など、文献にある既存の設計の選択を研究します。私たちの結果は、この方法がハイパーパラメータのさまざまな選択に対してロバストであり、複数のビューを使用することは、インスタンスレベルの画像表現学習で示されるほど効果的ではないことを示唆しています。また、(1)対照的な損失を使用してサンプリングされたセットからボックスを予測し、(2)変圧器を使用してボックスの座標を予測することにより、一方のビューのボックスをもう一方のビューの特徴から予測する2つの補助タスクを設計します。ダウンストリームオブジェクト検出タスク。これらのタスクは、ラベル付けされたデータで事前トレーニングされたモデルを微調整するときに、オブジェクト検出のパフォーマンスを向上させないことがわかりました。
In this work, we study different approaches to self-supervised pretraining of object detection models. We first design a general framework to learn a spatially consistent dense representation from an image, by randomly sampling and projecting boxes to each augmented view and maximizing the similarity between corresponding box features. We study existing design choices in the literature, such as box generation, feature extraction strategies, and using multiple views inspired by its success on instance-level image representation learning techniques. Our results suggest that the method is robust to different choices of hyperparameters, and using multiple views is not as effective as shown for instance-level image representation learning. We also design two auxiliary tasks to predict boxes in one view from their features in the other view, by (1) predicting boxes from the sampled set by using a contrastive loss, and (2) predicting box coordinates using a transformer, which potentially benefits downstream object detection tasks. We found that these tasks do not lead to better object detection performance when finetuning the pretrained model on labeled data.
updated: Sat Jul 09 2022 03:30:44 GMT+0000 (UTC)
published: Sat Jul 09 2022 03:30:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト