近年、ディープラーニングは、コンピュータービジョン、自然言語処理、音声認識など、多くの実用的な問題で大きな成果を上げました。長年にわたり、研究の主な目標は、複雑さが非現実的に高くても、モデルの品質を向上させることでした。ただし、リアルタイムの作業が必要になることが多い本番ソリューションの場合、モデルのレイテンシーが非常に重要な役割を果たします。現在の最先端のアーキテクチャは、モデルの複雑さを考慮したニューラルアーキテクチャ検索(NAS)で見つかります。ただし、特定のハードウェアに適した検索スペースの設計は、依然として困難な作業です。この問題に対処するために、ニューラルアーキテクチャ検索スペースのハードウェア効率の測定値を提案します-マトリックス効率測定値(MEM)。ハードウェア効率の高い操作で構成される検索スペース。レイテンシーを意識したスケーリング方法。およびISyNet-特殊なニューラルプロセッシングユニット(NPU)ハードウェア上で高速であり、同時に正確であるように設計されたアーキテクチャのセット。 ImageNet上のNPUデバイス用に設計されたアーキテクチャの利点と、ダウンストリームの分類および検出タスクの一般化機能を示します。
In recent years Deep Learning reached significant results in many practical problems, such as computer vision, natural language processing, speech recognition and many others. For many years the main goal of the research was to improve the quality of models, even if the complexity was impractically high. However, for the production solutions, which often require real-time work, the latency of the model plays a very important role. Current state-of-the-art architectures are found with neural architecture search (NAS) taking model complexity into account. However, designing of the search space suitable for specific hardware is still a challenging task. To address this problem we propose a measure of hardware efficiency of neural architecture search space - matrix efficiency measure (MEM); a search space comprising of hardware-efficient operations; a latency-aware scaling method; and ISyNet - a set of architectures designed to be fast on the specialized neural processing unit (NPU) hardware and accurate at the same time. We show the advantage of the designed architectures for the NPU devices on ImageNet and the generalization ability for the downstream classification and detection tasks.