arXiv reaDer
IRLAS: Inverse Reinforcement Learning for Architecture Search
 本論文では、人間が設計したネットワークにトポロジカルにインスパイアされたネットワーク構造の検索を学習するエージェントを訓練する、アーキテクチャ検索の逆強化学習法(IRLAS)を提案します。既存のアーキテクチャ検索アプローチのほとんどは、アーキテクチャのトポロジ特性を完全に無視しているため、推論の待ち時間が長い複雑なアーキテクチャになります。人間が設計したネットワークは、推論速度が速く、トポロジーがエレガントであるという事実に動機付けられ、生物学的認知理論に触発されたミラー刺激関数を提案して、専門の人間設計ネットワーク(ResNeXt)の抽象的なトポロジカルな知識を抽出します。探索空間での強すぎる事前上昇を回避するために、ミラー刺激関数をトレーニングする逆強化学習を導入し、それをアーキテクチャ検索のヒューリスティックガイダンスとして活用し、異なるアーキテクチャ検索アルゴリズムに簡単に一般化します。 CIFAR-10では、提案されたIRLASによって検索された最適なアーキテクチャは、エラー率2.60%を達成します。 ImageNetモバイル設定では、このモデルは最先端のトップ1精度75.28%を達成し、ほとんどの自動生成アーキテクチャよりも2〜4倍高速です。このモデルの高速バージョンは、より高い精度を維持しながら、MobileNetV2よりも10%高速です。
In this paper, we propose an inverse reinforcement learning method for architecture search (IRLAS), which trains an agent to learn to search network structures that are topologically inspired by human-designed network. Most existing architecture search approaches totally neglect the topological characteristics of architectures, which results in complicated architecture with a high inference latency. Motivated by the fact that human-designed networks are elegant in topology with a fast inference speed, we propose a mirror stimuli function inspired by biological cognition theory to extract the abstract topological knowledge of an expert human-design network (ResNeXt). To avoid raising a too strong prior over the search space, we introduce inverse reinforcement learning to train the mirror stimuli function and exploit it as a heuristic guidance for architecture search, easily generalized to different architecture search algorithms. On CIFAR-10, the best architecture searched by our proposed IRLAS achieves 2.60% error rate. For ImageNet mobile setting, our model achieves a state-of-the-art top-1 accuracy 75.28%, while being 2~4x faster than most auto-generated architectures. A fast version of this model achieves 10% faster than MobileNetV2, while maintaining a higher accuracy.
updated: Wed Nov 06 2019 02:30:08 GMT+0000 (UTC)
published: Thu Dec 13 2018 06:53:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト