HPCは、AIを可能にするプラットフォームです。 HPCアプリケーションバスケットにAIワークロードを導入すると、AIアプリケーションの設計方法とHPCコンピューティングの提供方法の両方に重要な結果がもたらされます。これは、HPCとAIの間の収束のライトモティーフです。 AIパイプラインの正式な定義は、HPC-AIコンバージェンスのマイルストーンの1つです。適切に実施されれば、一方では、ポータブルでスケーラブルなアプリケーションを取得できます。一方で、科学パイプラインの再現性にとっても重要です。この作業では、ストリームフローワークフロー管理システムを「CLAIRECOVID-19ユニバーサルパイプライン」と呼ばれるパラメトリックパイプラインを定義するための重要な要素として提唱します。これは、CTからCOVID-19肺病変を分類する方法の最適化空間を探索できます。スキャンし、精度を比較して、パフォーマンスのベースラインを設定します。ユニバーサルパイプラインは、多くの異なるディープニューラルネットワーク(DNN)と多くの異なるハイパーパラメーターのトレーニングを自動化します。したがって、StreamFlowで設計されたパイプラインの設計による移植性のおかげで、従来のHPCインフラストラクチャに見られる大規模なコンピューティングパワーが必要になります。ユニバーサルパイプラインを使用して、CTスキャンでCOVID-19病変を検出する際に90%を超える精度に達するDNNを特定しました。
HPC is an enabling platform for AI. The introduction of AI workloads in the HPC applications basket has non-trivial consequences both on the way of designing AI applications and on the way of providing HPC computing. This is the leitmotif of the convergence between HPC and AI. The formalized definition of AI pipelines is one of the milestones of HPC-AI convergence. If well conducted, it allows, on the one hand, to obtain portable and scalable applications. On the other hand, it is crucial for the reproducibility of scientific pipelines. In this work, we advocate the StreamFlow Workflow Management System as a crucial ingredient to define a parametric pipeline, called "CLAIRE COVID-19 Universal Pipeline," which is able to explore the optimization space of methods to classify COVID-19 lung lesions from CT scans, compare them for accuracy, and therefore set a performance baseline. The universal pipeline automatizes the training of many different Deep Neural Networks (DNNs) and many different hyperparameters. It, therefore, requires a massive computing power, which is found in traditional HPC infrastructure thanks to the portability-by-design of pipelines designed with StreamFlow. Using the universal pipeline, we identified a DNN reaching over 90% accuracy in detecting COVID-19 lesions in CT scans.