arXiv reaDer
Distributed Low Precision Training Without Mixed Precision
 低精度のトレーニングは、限られたハードウェアリソースにディープモデルを展開するための最も一般的な戦略の1つです。 DCNの固定小数点実装には、複雑さを軽減し、組み込みハードウェアでの潜在的な展開を容易にする可能性があります。ただし、ほとんどの低精度トレーニングソリューションは、混合精度戦略に基づいています。この論文では、さまざまな低精度トレーニング戦略に関するアブレーション研究を提示し、トレーニングプロセス全体でIEEE FP-16形式のソリューションを提案しました。 ImageNetフルデータセットの128 GPUクラスターでResNet50をテストしました。ディープモデルのトレーニングにFP32形式を使用することは必須ではないと考えました。通信コストの削減、モデルの圧縮、および大規模な分散トレーニングは、3つの結合された問題であると考えました。
Low precision training is one of the most popular strategies for deploying the deep model on limited hardware resources. Fixed point implementation of DCNs has the potential to alleviate complexities and facilitate potential deployment on embedded hardware. However, most low precision training solution is based on a mixed precision strategy. In this paper, we have presented an ablation study on different low precision training strategy and propose a solution for IEEE FP-16 format throughout the training process. We tested the ResNet50 on 128 GPU cluster on ImageNet-full dataset. We have viewed that it is not essential to use FP32 format to train the deep models. We have viewed that communication cost reduction, model compression, and large-scale distributed training are three coupled problems.
updated: Fri Dec 27 2019 05:37:54 GMT+0000 (UTC)
published: Mon Nov 18 2019 00:56:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト