ハードウェアを意識したニューラルアーキテクチャの設計は、主に単一のハードウェアでのモデルパフォーマンスの最適化とモデル開発の複雑さに焦点を当てており、別の重要な要素であるモデル展開の複雑さはほとんど無視されています。このホワイトペーパーでは、複数のハードウェアに展開される可能性のあるアプリケーションの場合、展開されたハードウェア全体で異なる単一ハードウェアモデルを使用すると、ハードウェア全体で一貫した出力を保証することが難しくなり、デバッグと修正のためのエンジニアリング作業が重複することを主張します。このような展開コストを最小限に抑えるために、代替ソリューションであるマルチハードウェアモデルを提案します。このモデルでは、単一のアーキテクチャが複数のハードウェア用に開発されます。思慮深い検索スペースの設計と、提案されたマルチハードウェアメトリックをニューラルアーキテクチャ検索に組み込むことで、平均シナリオと最悪のシナリオの両方で、複数のハードウェアにわたって最先端の(SoTA)パフォーマンスを提供するマルチハードウェアモデルを発見します。個々のハードウェアでのパフォーマンスについては、単一のマルチハードウェアモデルで、GPU、DSP、EdgeTPUなどのアクセラレータでのSoTAパフォーマンスと同等またはそれ以上の結果が得られますが、モバイルCPUでのMobilenetV3 LargeMinimalisticモデルでも同様のパフォーマンスが得られます。
Hardware-aware neural architecture designs have been predominantly focusing on optimizing model performance on single hardware and model development complexity, where another important factor, model deployment complexity, has been largely ignored. In this paper, we argue that, for applications that may be deployed on multiple hardware, having different single-hardware models across the deployed hardware makes it hard to guarantee consistent outputs across hardware and duplicates engineering work for debugging and fixing. To minimize such deployment cost, we propose an alternative solution, multi-hardware models, where a single architecture is developed for multiple hardware. With thoughtful search space design and incorporating the proposed multi-hardware metrics in neural architecture search, we discover multi-hardware models that give state-of-the-art (SoTA) performance across multiple hardware in both average and worse case scenarios. For performance on individual hardware, the single multi-hardware model yields similar or better results than SoTA performance on accelerators like GPU, DSP and EdgeTPU which was achieved by different models, while having similar performance with MobilenetV3 Large Minimalistic model on mobile CPU.