arXiv reaDer
itKD: 3D オブジェクト検出のための交換転送ベースの知識抽出
itKD: Interchange Transfer-based Knowledge Distillation for 3D Object Detection
点群ベースの 3D オブジェクト検出器は、最近目覚ましい進歩を遂げました。しかし、ほとんどの研究は、計算効率を考慮せずに、精度のみを向上させるためのネットワーク アーキテクチャの開発に限定されています。この論文では、最初に、交換転送ベースの知識蒸留によるチャネル単位の圧縮と解凍を含むオートエンコーダー スタイルのフレームワークを提案します。教師ネットワークのマップ ビュー機能を学習するために、教師ネットワークと生徒ネットワークの機能は、共有オートエンコーダーを介して個別に渡されます。ここでは、学生ネットワークと教師ネットワークの両方からのチャネルごとの圧縮知識を一種の正則化としてバインドする圧縮表現損失を使用します。解凍された特徴は、交換再構成のギャップを減らすために反対方向に転送されます。最後に、マルチヘッド セルフアテンション メカニズムによって描画された 3D オブジェクト検出情報と一致するように、ヘッド アテンション ロスを提示します。広範な実験を通じて、私たちの方法が 3D 点群検出タスクとよく一致する軽量モデルをトレーニングできることを確認し、よく知られている公開データセットを使用してその優位性を示します。例: Waymo と nuScenes。
Point-cloud based 3D object detectors recently have achieved remarkable progress. However, most studies are limited to the development of network architectures for improving only their accuracy without consideration of the computational efficiency. In this paper, we first propose an autoencoder-style framework comprising channel-wise compression and decompression via interchange transfer-based knowledge distillation. To learn the map-view feature of a teacher network, the features from teacher and student networks are independently passed through the shared autoencoder; here, we use a compressed representation loss that binds the channel-wised compression knowledge from both student and teacher networks as a kind of regularization. The decompressed features are transferred in opposite directions to reduce the gap in the interchange reconstructions. Lastly, we present an head attention loss to match the 3D object detection information drawn by the multi-head self-attention mechanism. Through extensive experiments, we verify that our method can train the lightweight model that is well-aligned with the 3D point cloud detection task and we demonstrate its superiority using the well-known public datasets; e.g., Waymo and nuScenes.
updated: Mon Mar 27 2023 04:30:25 GMT+0000 (UTC)
published: Tue May 31 2022 04:25:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト