arXiv reaDer
物体検出のための圧縮ニューラルネットワークのロバスト性
Robustness in Compressed Neural Networks for Object Detection
モデル圧縮技術により、平均精度をわずかに低下させるだけで、ディープニューラルネットワークによるデータ処理に関連する計算コストを大幅に削減できます。同時に、モデルサイズを小さくすると、ノイズの多いケースや頻度の低いクラスに属するオブジェクトに大きな影響を与える可能性があります。これは、モデルの安全性の観点から、特にこの作業で考慮されている自動運転環境での物体検出にとって重大な問題です。さまざまな歪みタイプに対する圧縮モデルの感度には微妙な違いがあり、一部の破損は圧縮方法(つまり、加法性ノイズ)の影響を大きく受けますが、その他(ぼかし効果)はわずかな影響しか受けないことが論文で示されています。モデルの堅牢性を向上させる一般的な方法は、データの拡張を使用することです。これは、高度に圧縮されたモデルでも、モデルの堅牢性にプラスの影響を与えることが確認されています。さらに、データ不均衡法ではベースラインモデル(圧縮なし)の精度がわずかに向上するだけでしたが、構造化剪定の圧縮率が高いほど影響が顕著であることが示されました。最後に、データの不均衡を処理する方法により、プルーニングされたモデルの最悪の検出クラスの精度が大幅に向上しました。
Model compression techniques allow to significantly reduce the computational cost associated with data processing by deep neural networks with only a minor decrease in average accuracy. Simultaneously, reducing the model size may have a large effect on noisy cases or objects belonging to less frequent classes. It is a crucial problem from the perspective of the models' safety, especially for object detection in the autonomous driving setting, which is considered in this work. It was shown in the paper that the sensitivity of compressed models to different distortion types is nuanced, and some of the corruptions are heavily impacted by the compression methods (i.e., additive noise), while others (blur effect) are only slightly affected. A common way to improve the robustness of models is to use data augmentation, which was confirmed to positively affect models' robustness, also for highly compressed models. It was further shown that while data imbalance methods brought only a slight increase in accuracy for the baseline model (without compression), the impact was more striking at higher compression rates for the structured pruning. Finally, methods for handling data imbalance brought a significant improvement of the pruned models' worst-detected class accuracy.
updated: Mon Sep 27 2021 10:06:23 GMT+0000 (UTC)
published: Wed Feb 10 2021 15:52:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト