マルチエグジット モデル (MEM) は、アーリー エグジット戦略を使用して、サンプルが最後の層の前にネットワークを終了できるようにすることで、ディープ ニューラル ネットワーク (DNN) の精度と効率を向上させます。ただし、分布シフトが存在する場合のMEMの有効性は、ほとんど調査されていないままです。私たちの仕事は、一般的な画像の破損によって生成される分布のシフトがMEMの精度/効率にどのように影響するかを調べます.一般的な破損の下では、最初の正しい出口で早期に終了すると、推論コストが削減され、最後の層で終了するよりも精度が大幅に向上します (10%)。ただし、正しい出口に関する知識を前提としない現実的な早期出口戦略では、MEM は依然として推論コストを削減しますが、最後のレイヤーで終了する場合と比較して精度がわずかに向上します (1%)。さらに、分布シフトの存在は、分布内データのギャップと比較して、MEM の最大分類精度と現実的な早期終了戦略との間のギャップを平均で 5% 広げます。私たちの経験的分析は、分布シフトによるキャリブレーションの欠如が、そのような早期終了戦略の早期終了の感受性を高め、誤分類率を増加させることを示しています。さらに、キャリブレーションの欠如により、出口全体でモデルの予測の不一致が増加し、分布内データの評価と比較して、非効率的な推論とより多くの誤分類につながります。最後に、分布の変化の下での実用的な早期出口戦略のさまざまな動作を定量化し、MEM の実用的な有用性を改善するための洞察を提供する、過小評価と過大評価の 2 つの指標を提案します。
Multi-Exit models (MEMs) use an early-exit strategy to improve the accuracy and efficiency of deep neural networks (DNNs) by allowing samples to exit the network before the last layer. However, the effectiveness of MEMs in the presence of distribution shifts remains largely unexplored. Our work examines how distribution shifts generated by common image corruptions affect the accuracy/efficiency of MEMs. We find that under common corruptions, early-exiting at the first correct exit reduces the inference cost and provides a significant boost in accuracy ( 10%) over exiting at the last layer. However, with realistic early-exit strategies, which do not assume knowledge about the correct exits, MEMs still reduce inference cost but provide a marginal improvement in accuracy (1%) compared to exiting at the last layer. Moreover, the presence of distribution shift widens the gap between an MEM's maximum classification accuracy and realistic early-exit strategies by 5% on average compared with the gap on in-distribution data. Our empirical analysis shows that the lack of calibration due to a distribution shift increases the susceptibility of such early-exit strategies to exit early and increases misclassification rates. Furthermore, the lack of calibration increases the inconsistency in the predictions of the model across exits, leading to both inefficient inference and more misclassifications compared with evaluation on in-distribution data. Finally, we propose two metrics, underthinking and overthinking, that quantify the different behavior of practical early-exit strategy under distribution shifts, and provide insights into improving the practical utility of MEMs.