BEV (鳥瞰図) に基づく多視点 3D 検出は、最近大幅な改善を達成しました。ただし、最先端のモデルは大量のメモリを消費するため、車両に導入することが困難であり、無視できない遅延がストリーミング アプリケーションのリアルタイム認識に影響を与えます。モデルを軽量化するために量子化が広く適用されているにもかかわらず、BEV タスクに量子化を直接適用すると、1) トレーニングが不安定になり、2) 耐えられないほどのパフォーマンスの低下が生じることを論文で示しています。これらの問題を解決するために、私たちのメソッド QD-BEV は、新しいビューガイド付き蒸留 (VGD) 目標を有効にし、画像特徴と BEV 特徴の両方を活用することでモデルのパフォーマンスを向上させながら、量子化対応トレーニング (QAT) を安定させることができます。私たちの実験では、QD-BEV が以前の方法と同等かそれ以上の精度を達成し、効率が大幅に向上することが示されました。 nuScenes データセットでは、4 ビットの重みと 6 ビットのアクティベーションで量子化された QD-BEV-Tiny モデルは、わずか 15.8 MB のモデル サイズで 37.2% の NDS を達成し、8 倍のモデル圧縮で BevFormer-Tiny を 1.8% 上回りました。 Small および Base バリアントでは、QD-BEV モデルも優れたパフォーマンスを発揮し、それぞれ 47.9% NDS (28.2 MB) と 50.9% NDS (32.9 MB) を達成します。
Multi-view 3D detection based on BEV (bird-eye-view) has recently achieved significant improvements. However, the huge memory consumption of state-of-the-art models makes it hard to deploy them on vehicles, and the non-trivial latency will affect the real-time perception of streaming applications. Despite the wide application of quantization to lighten models, we show in our paper that directly applying quantization in BEV tasks will 1) make the training unstable, and 2) lead to intolerable performance degradation. To solve these issues, our method QD-BEV enables a novel view-guided distillation (VGD) objective, which can stabilize the quantization-aware training (QAT) while enhancing the model performance by leveraging both image features and BEV features. Our experiments show that QD-BEV achieves similar or even better accuracy than previous methods with significant efficiency gains. On the nuScenes datasets, the 4-bit weight and 6-bit activation quantized QD-BEV-Tiny model achieves 37.2% NDS with only 15.8 MB model size, outperforming BevFormer-Tiny by 1.8% with an 8x model compression. On the Small and Base variants, QD-BEV models also perform superbly and achieve 47.9% NDS (28.2 MB) and 50.9% NDS (32.9 MB), respectively.