エッジコンピューティングシステムを使用したIoTなど、時間に敏感でリソースに制約のある設定にディープラーニングサービスを展開することは、推論時間を動的に調整する必要がある困難な作業です。マルチエグジットアーキテクチャにより、ディープニューラルネットワークは、精度を犠牲にして厳しい期限を守るために、実行を早期に終了できます。このコストを軽減するために、本稿では、カリキュラム学習を利用したマルチ出口カリキュラム学習と呼ばれる新しい方法を紹介します。これは、トレーニングサンプルを難易度に基づいて並べ替え、徐々にネットワークに導入することで、人間の学習を模倣するニューラルネットワークのトレーニング戦略です。 。 CIFAR-10およびCIFAR-100データセットとマルチ出口アーキテクチャのさまざまな構成での実験は、私たちの方法が標準のトレーニングアプローチと比較して早期出口の精度を一貫して改善することを示しています。
Deploying deep learning services for time-sensitive and resource-constrained settings such as IoT using edge computing systems is a challenging task that requires dynamic adjustment of inference time. Multi-exit architectures allow deep neural networks to terminate their execution early in order to adhere to tight deadlines at the cost of accuracy. To mitigate this cost, in this paper we introduce a novel method called Multi-Exit Curriculum Learning that utilizes curriculum learning, a training strategy for neural networks that imitates human learning by sorting the training samples based on their difficulty and gradually introducing them to the network. Experiments on CIFAR-10 and CIFAR-100 datasets and various configurations of multi-exit architectures show that our method consistently improves the accuracy of early exits compared to the standard training approach.