arXiv reaDer
DetOFA: 事前トレーニング済みのスーパーネットとパス フィルターを使用した、オブジェクト検出のためのすべてのネットワークの効率的なトレーニング
DetOFA: Efficient Training of Once-for-All Networks for Object Detection by Using Pre-trained Supernet and Path Filter
比較的少量のトレーニング データを使用して、物体検出タスクのために大規模なスーパーネットをトレーニングするという課題に取り組みます。具体的には、転移学習と探索空間の刈り込みを使用する効率的なスーパーネット ベースのニューラル アーキテクチャ探索 (NAS) 手法を提案します。まず、スーパーネットは分類タスクで事前にトレーニングされており、大規模なデータセットが利用可能です。次に、パフォーマンスが低いと予測される候補モデルを削除することによって、スーパーネットによって定義された検索空間が刈り込まれます。広範囲のリソース制約で候補を効果的に削除するために、パス フィルターと呼ばれるパフォーマンス予測子を特に設計します。これは、同様のリソース制約を満たすモデルの相対的なパフォーマンスを正確に予測できます。したがって、スーパーネットのトレーニングは、最も成績の良い候補者に重点を置いています。パス フィルターは、リソース バジェットが異なるパスの予測を処理します。 1 回限りの方法と比較して、提案された方法は、最適なネットワーク アーキテクチャの計算コストを 30% と 63% 削減し、浮動小数点演算の精度を向上させます。および COCO、それぞれ)。
We address the challenge of training a large supernet for the object detection task, using a relatively small amount of training data. Specifically, we propose an efficient supernet-based neural architecture search (NAS) method that uses transfer learning and search space pruning. First, the supernet is pre-trained on a classification task, for which large datasets are available. Second, the search space defined by the supernet is pruned by removing candidate models that are predicted to perform poorly. To effectively remove the candidates over a wide range of resource constraints, we particularly design a performance predictor, called path filter, which can accurately predict the relative performance of the models that satisfy similar resource constraints. Hence, supernet training is more focused on the best-performing candidates. Our path filter handles prediction for paths with different resource budgets. Compared to once-for-all, our proposed method reduces the computational cost of the optimal network architecture by 30% and 63%, while yielding better accuracy-floating point operations Pareto front (0.85 and 0.45 points of improvement on average precision for Pascal VOC and COCO, respectively).
updated: Thu Mar 23 2023 09:23:11 GMT+0000 (UTC)
published: Thu Mar 23 2023 09:23:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト