ビデオデータの畳み込みニューラルネットワーク推論には、リアルタイム処理のための強力なハードウェアが必要です。連続するフレーム間の固有の一貫性を考えると、ビデオの大部分は通常ほとんど変化しません。同一の画像領域をスキップし、重要でないピクセルの更新を切り捨てることにより、理論的には計算の冗長性を大幅に減らすことができます。ただし、これらの理論上の節約は、スパース更新が計算の一貫性とメモリアクセスの一貫性を妨げるため、実際に変換することは困難でした。これは、実際のハードウェアの効率を高めるための鍵です。 DeltaCNNを使用して、スパース畳み込みニューラルネットワークフレームワークを提示します。これにより、スパースフレームごとの更新が可能になり、実際にビデオ推論が高速化されます。すべての一般的なCNNレイヤーにスパース実装を提供し、時間の経過とともにエラーを蓄積することなく、スパース機能の更新をエンドツーエンドで伝播します。 DeltaCNNは、再トレーニングなしですべての畳み込みニューラルネットワークに適用できます。私たちの知る限り、私たちは実際の設定で高密度リファレンスcuDNNを大幅に上回り、精度のわずかな違いだけで最大7倍のスピードアップを達成した最初の企業です。
Convolutional neural network inference on video data requires powerful hardware for real-time processing. Given the inherent coherence across consecutive frames, large parts of a video typically change little. By skipping identical image regions and truncating insignificant pixel updates, computational redundancy can in theory be reduced significantly. However, these theoretical savings have been difficult to translate into practice, as sparse updates hamper computational consistency and memory access coherence; which are key for efficiency on real hardware. With DeltaCNN, we present a sparse convolutional neural network framework that enables sparse frame-by-frame updates to accelerate video inference in practice. We provide sparse implementations for all typical CNN layers and propagate sparse feature updates end-to-end - without accumulating errors over time. DeltaCNN is applicable to all convolutional neural networks without retraining. To the best of our knowledge, we are the first to significantly outperform the dense reference, cuDNN, in practical settings, achieving speedups of up to 7x with only marginal differences in accuracy.