オブジェクト検出モデルでは、検出バックボーンは全体的な推論コストの半分以上を消費します。最近の研究では、Neural Architecture Search(NAS)を使用してバックボーンアーキテクチャを最適化することにより、このコストを削減しようとしています。ただし、オブジェクト検出用の既存のNASメソッドは、数百から数千のGPU時間の検索を必要とするため、ペースの速い研究開発では実用的ではありません。この作業では、この問題に対処するための新しいゼロショットNAS手法を提案します。 ZenDetという名前の提案された方法は、ネットワークパラメータをトレーニングせずに効率的な検出バックボーンを自動的に設計し、アーキテクチャ設計コストをほぼゼロに削減しながら、最先端の(SOTA)パフォーマンスを提供します。内部的には、ZenDetは検出バックボーンの微分エントロピーを最大化し、同じ計算バジェットの下でオブジェクト検出のためのより優れた特徴抽出器をもたらします。 ZenDetは、GPUで1日だけ完全に自動設計された後、人間の介入をほとんど必要とせずに、複数の検出ベンチマークデータセットでSOTA検出バックボーンを革新します。 ResNet-50バックボーンと比較すると、ZenDetは、同じ量のFLOP /パラメーターを使用した場合のmAPで+ 2.0%優れており、同じmAPのNVIDIAV100で1.54倍高速です。コードと事前トレーニング済みモデルは後でリリースされます。
In object detection models, the detection backbone consumes more than half of the overall inference cost. Recent researches attempt to reduce this cost by optimizing the backbone architecture with the help of Neural Architecture Search (NAS). However, existing NAS methods for object detection require hundreds to thousands of GPU hours of searching, making them impractical in fast-paced research and development. In this work, we propose a novel zero-shot NAS method to address this issue. The proposed method, named ZenDet, automatically designs efficient detection backbones without training network parameters, reducing the architecture design cost to nearly zero yet delivering the state-of-the-art (SOTA) performance. Under the hood, ZenDet maximizes the differential entropy of detection backbones, leading to a better feature extractor for object detection under the same computational budgets. After merely one GPU day of fully automatic design, ZenDet innovates SOTA detection backbones on multiple detection benchmark datasets with little human intervention. Comparing to ResNet-50 backbone, ZenDet is +2.0% better in mAP when using the same amount of FLOPs/parameters and is 1.54 times faster on NVIDIA V100 at the same mAP. Code and pre-trained models will be released later.