科学実験施設内でディープラーニングモデルを使用するには、低遅延の推論が必要になることが多く、たとえば、データの収集中に品質管理操作を実行できます。エッジコンピューティングデバイスは、低コストでコンパクトなフォームファクターにより、実験装置と同じ場所に設置できるため、このコンテキストで役立ちます。リソースが限られているこのようなデバイスは、ニューラルネットワークのフィードフォワード計算を効率的かつ効果的に実行できますか?モデルの入力と出力の両方が画像である科学的画像復元モデルの性能と精度をエッジコンピューティングデバイスで評価することにより、この問題を探ります。具体的には、Google Edge TPUおよびNVIDIA Jetsonでの低線量X線イメージング用に開発された生成的敵対ネットワークに基づく画像ノイズ除去モデルであるTomoGANの展開を評価します。 TomoGANをエッジ実行に適合させ、モデルの推論パフォーマンスを評価し、モデルの量子化によって生じる精度の低下に対処する方法を提案します。これらのエッジコンピューティングデバイスは、本格的なCPUまたはGPUモデルに匹敵する精度を、意図した展開での使用に十分すぎる速度で提供し、1024 x 1024の画像を1秒未満でノイズ除去できることを示します。また、実験では、Edge TPUモデルがCPUベースのモデルよりも3倍速く、エッジGPUベースのモデルより1.5倍速い推論応答を提供できることも示しています。この高速と低コストの組み合わせにより、どこでも画像を復元できます。
The use of deep learning models within scientific experimental facilities frequently requires low-latency inference, so that, for example, quality control operations can be performed while data are being collected. Edge computing devices can be useful in this context, as their low cost and compact form factor permit them to be co-located with the experimental apparatus. Can such devices, with their limited resources, can perform neural network feed-forward computations efficiently and effectively? We explore this question by evaluating the performance and accuracy of a scientific image restoration model, for which both model input and output are images, on edge computing devices. Specifically, we evaluate deployments of TomoGAN, an image-denoising model based on generative adversarial networks developed for low-dose x-ray imaging, on the Google Edge TPU and NVIDIA Jetson. We adapt TomoGAN for edge execution, evaluate model inference performance, and propose methods to address the accuracy drop caused by model quantization. We show that these edge computing devices can deliver accuracy comparable to that of a full-fledged CPU or GPU model, at speeds that are more than adequate for use in the intended deployments, denoising a 1024 x 1024 image in less than a second. Our experiments also show that the Edge TPU models can provide 3x faster inference response than a CPU-based model and 1.5x faster than an edge GPU-based model. This combination of high speed and low cost permits image restoration anywhere.