ディープ ニューラル ネットワークのパフォーマンスの向上は、多くの場合、利用可能な計算能力の向上に起因すると経験的に考えられています。これにより、大量の注釈付きデータで複雑なモデルをトレーニングできるようになります。ただし、モデルの複雑さが増すと、最新のニューラル ネットワークの展開に費用がかかりますが、そのような量のデータを収集するには、ラベル ノイズを回避するために莫大な費用がかかります。この作業では、これらの問題の両方に同時に取り組むための圧縮方法の能力を研究します。ニューラルネットワークの表現力を制限することにより、量子化を意識したトレーニングは正則化として動作するという仮説を立てています。したがって、推論時にモデルの圧縮を可能にしながら、ノイズの多いデータのオーバーフィッティングと戦うのに役立つ場合があります。最初に、手動で導入されたラベル ノイズを使用した制御されたテストで、この主張を検証します。さらに、顔アクション ユニットの検出で提案された方法をテストします。この場合、ラベルは通常、タスクの微妙さのためにノイズが多くなります。すべての場合において、我々の結果は、量子化が既存のベースライン、正則化、および他の圧縮方法と比較して結果を大幅に改善することを示唆しています。
The rising performance of deep neural networks is often empirically attributed to an increase in the available computational power, which allows complex models to be trained upon large amounts of annotated data. However, increased model complexity leads to costly deployment of modern neural networks, while gathering such amounts of data requires huge costs to avoid label noise. In this work, we study the ability of compression methods to tackle both of these problems at once. We hypothesize that quantization-aware training, by restricting the expressivity of neural networks, behaves as a regularization. Thus, it may help fighting overfitting on noisy data while also allowing for the compression of the model at inference. We first validate this claim on a controlled test with manually introduced label noise. Furthermore, we also test the proposed method on Facial Action Unit detection, where labels are typically noisy due to the subtlety of the task. In all cases, our results suggests that quantization significantly improve the results compared with existing baselines, regularization as well as other compression methods.