深い残余ネットワークは、説得力のある精度と優れた収束動作を示す非常に深いアーキテクチャのファミリーとして登場しました。このホワイトペーパーでは、残差ビルディングブロックの背後の伝播定式化を分析します。これは、スキップ接続および追加後のアクティベーションとして恒等写像を使用する場合、前方および後方の信号を1つのブロックから他のブロックに直接伝播できることを示唆しています。一連のアブレーション実験は、これらの恒等写像の重要性をサポートしています。これは、トレーニングを簡単にし、一般化を改善する新しい残差ユニットを提案する動機になります。 CIFAR-10(4.62%エラー)およびCIFAR-100の1001層ResNet、およびImageNetの200層ResNetを使用して、改善された結果を報告します。コードはhttps://github.com/KaimingHe/resnet-1k-layersから入手できます。
Deep residual networks have emerged as a family of extremely deep architectures showing compelling accuracy and nice convergence behaviors. In this paper, we analyze the propagation formulations behind the residual building blocks, which suggest that the forward and backward signals can be directly propagated from one block to any other block, when using identity mappings as the skip connections and after-addition activation. A series of ablation experiments support the importance of these identity mappings. This motivates us to propose a new residual unit, which makes training easier and improves generalization. We report improved results using a 1001-layer ResNet on CIFAR-10 (4.62% error) and CIFAR-100, and a 200-layer ResNet on ImageNet. Code is available at: https://github.com/KaimingHe/resnet-1k-layers