arXiv reaDer
ランタイム最適化を使用したエッジAIデバイスでのオブジェクト検出のためのディープニューラルネットワークの展開
Deployment of Deep Neural Networks for Object Detection on Edge AI Devices with Runtime Optimization
ディープニューラルネットワークは、検出パフォーマンスの絶え間ない改善を提供する新しいアルゴリズムにより、自動車のシーンを理解するためにますます重要であることが証明されています。ただし、組み込み環境での展開の経験とニーズにはほとんど重点が置かれていません。したがって、エッジAIプラットフォームでの2つの代表的なオブジェクト検出ネットワークの展開のケーススタディを実行します。特に、画像ベースの2Dオブジェクト検出にはRetinaNetを、LiDARベースの3Dオブジェクト検出にはPointPillarsを検討します。利用可能なツールを考慮して、アルゴリズムをPyTorchトレーニング環境からデプロイメント環境に変換するために必要な変更について説明します。 TensorRTとTorchScriptの2つの異なるライブラリを使用して、デプロイされたDNNのランタイムを評価します。私たちの実験では、畳み込み層にはTensorRTが、完全に接続された層にはTorchScriptのわずかな利点が見られます。また、展開用に最適化されたセットアップを選択する際のランタイムとパフォーマンスのトレードオフを調査し、量子化によってランタイムが大幅に短縮され、検出パフォーマンスにはほとんど影響がないことを確認しました。
Deep neural networks have proven increasingly important for automotive scene understanding with new algorithms offering constant improvements of the detection performance. However, there is little emphasis on experiences and needs for deployment in embedded environments. We therefore perform a case study of the deployment of two representative object detection networks on an edge AI platform. In particular, we consider RetinaNet for image-based 2D object detection and PointPillars for LiDAR-based 3D object detection. We describe the modifications necessary to convert the algorithms from a PyTorch training environment to the deployment environment taking into account the available tools. We evaluate the runtime of the deployed DNN using two different libraries, TensorRT and TorchScript. In our experiments, we observe slight advantages of TensorRT for convolutional layers and TorchScript for fully connected layers. We also study the trade-off between runtime and performance, when selecting an optimized setup for deployment, and observe that quantization significantly reduces the runtime while having only little impact on the detection performance.
updated: Wed Aug 18 2021 14:21:53 GMT+0000 (UTC)
published: Wed Aug 18 2021 14:21:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト