arXiv reaDer
Training Multiscale-CNN for Large Microscopy Image Classification in One Hour
 大きな画像を使用するニューラルネットワークをトレーニングするための既存のアプローチでは、主にGPUや新しいアクセラレーターで使用可能なメモリ容量が非常に制限されているため、前処理中にデータをトリミングまたはダウンサンプリングするか、小さなバッチサイズを使用するか、デバイス間でモデルを分割する必要があります。これらの手法は、多くの場合、収束までの時間またはトレーニング時間(TTT)を長くし、場合によってはモデルの精度を低下させます。一方、CPUは大量のメモリを活用できます。複数のCPUでニューラルネットワークトレーニングを並列化するために多くの作業が行われましたが、CPU上の大きな画像を使用してニューラルネットワークトレーニングを調整することにはほとんど注意が払われていません。この作業では、マルチスケール畳み込みニューラルネットワーク(M-CNN)をトレーニングして、1時間で大量のコンテンツをスクリーニングするための大きな生物医学画像を分類します。 CPUで大容量のメモリを活用できるため、入力画像をトリミングしたりダウンサンプリングしたりすることなく、より大きなバッチサイズに拡張できます。大きなバッチサイズと組み合わせて、学習率の線形スケーリングの一般化された方法論を見つけ、M-CNNを1時間以内に99%の最先端(SOTA)の精度にトレーニングします。 100 Gbps Intel Omnipathアーキテクチャで接続された192GB DDR4メモリを備えた128個の2ソケットIntel Xeon 6148プロセッサノードを使用して、収束までの時間を短縮します。
Existing approaches to train neural networks that use large images require to either crop or down-sample data during pre-processing, use small batch sizes, or split the model across devices mainly due to the prohibitively limited memory capacity available on GPUs and emerging accelerators. These techniques often lead to longer time to convergence or time to train (TTT), and in some cases, lower model accuracy. CPUs, on the other hand, can leverage significant amounts of memory. While much work has been done on parallelizing neural network training on multiple CPUs, little attention has been given to tune neural network training with large images on CPUs. In this work, we train a multi-scale convolutional neural network (M-CNN) to classify large biomedical images for high content screening in one hour. The ability to leverage large memory capacity on CPUs enables us to scale to larger batch sizes without having to crop or down-sample the input images. In conjunction with large batch sizes, we find a generalized methodology of linearly scaling of learning rate and train M-CNN to state-of-the-art (SOTA) accuracy of 99% within one hour. We achieve fast time to convergence using 128 two socket Intel Xeon 6148 processor nodes with 192GB DDR4 memory connected with 100Gbps Intel Omnipath architecture.
updated: Tue Mar 10 2020 19:35:44 GMT+0000 (UTC)
published: Thu Oct 03 2019 22:33:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト