arXiv reaDer
Efficient Neural Architecture Transformation Searchin Channel-Level for Object Detection
  最近、Neural Architecture Searchは大規模な画像分類で大きな成功を収めました。対照的に、主に高価なImageNet事前トレーニングが検出器に常に必要であるため、オブジェクト検出のためのアーキテクチャ検索に焦点を合わせた限られた作業がありました。ゼロからのトレーニングは、代替として、収束するためにより多くのエポックを要求し、計算の節約をもたらしません。この障害を克服するために、本論文ではオブジェクト検出のための実用的なニューラルアーキテクチャ変換検索(NATS)アルゴリズムを紹介します。 NATSは、ネットワーク全体を検索して構築する代わりに、既存のネットワークに基づいてアーキテクチャ空間を探索し、その重みを再利用します。パスレベルではなくチャネルレベルでの新しいニューラルアーキテクチャの検索戦略を提案し、オブジェクト検出を特に対象とする検索スペースを考案します。これらの2つの設計の組み合わせにより、画像分類用に設計されたネットワークをオブジェクト検出タスクに適合させるためのアーキテクチャ変換スキームを発見できます。このメソッドは勾配ベースであり、変換スキームのみを検索するため、inImageNetで事前トレーニングされたモデルの重みは、検索と再トレーニングの両方のステージで利用でき、プロセス全体が非常に効率的になります。変換されたネットワークは、追加のパラメーターとFLOPを必要とせず、リアルタイムアプリケーションでの使用に実用的なハードウェア最適化に適しています。実験では、ResNetやResNeXtなどのNATSonネットワークの有効性を実証します。変換されたネットワークは、さまざまな検出フレームワークと組み合わせて、COCOデータセットの大幅な改善を達成しながら、高速を維持します。
Recently, Neural Architecture Search has achieved great success in large-scale image classification. In contrast, there have been limited works focusing on architecture search for object detection, mainly because the costly ImageNet pre-training is always required for detectors. Training from scratch, as a substitute, demands more epochs to converge and brings no computation saving. To overcome this obstacle, we introduce a practical neural architecture transformation search(NATS)algorithm for object detection in this paper. Instead of searching and constructing an entire network, NATS explores the architecture space on the base of existing network and reusing its weights. We propose a novel neural architecture search strategy in channel-level instead of path-level and devise a search space specially targeting at object detection. With the combination of these two designs, an architecture transformation scheme could be discovered to adapt a network designed for image classification to task of object detection. Since our method is gradient-based and only searches for a transformation scheme, the weights of models pretrained inImageNet could be utilized in both searching and retraining stage, which makes the whole process very efficient. The transformed network requires no extra parameters and FLOPs, and is friendly to hardware optimization, which is practical to use in real-time application. In experiments, we demonstrate the effectiveness of NATSon networks like ResNet and ResNeXt. Our transformed networks, combined with various detection frameworks, achieve significant improvements on the COCO dataset while keeping fast.
updated: Thu Sep 05 2019 10:05:57 GMT+0000 (UTC)
published: Thu Sep 05 2019 10:05:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト