arXiv reaDer
itKD:3Dオブジェクト検出のための交換転送ベースの知識抽出
itKD: Interchange Transfer-based Knowledge Distillation for 3D Object Detection
最近、点群ベースの3Dオブジェクト検出器は目覚ましい進歩を遂げました。ただし、ほとんどの研究は、精度のみを向上させるための深層学習アーキテクチャの開発に限定されています。本論文では、知識蒸留のための交換転送を介したチャネルごとの圧縮と減圧を含むオートエンコーダスタイルのフレームワークを提案します。教師ネットワークのマップビュー機能を学習するために、教師と学生のネットワークからの機能は、共有オートエンコーダを介して独立して渡されます。ここでは、正則化の一種として、両方のネットワークからのチャネル単位の圧縮知識をバインドする圧縮表現損失を使用します。解凍されたフィーチャは、インターチェンジの再構築のギャップを減らすために反対方向に転送されます。最後に、マルチヘッド自己注意メカニズムによって引き出されたピボット検出情報を照合するための注意深いヘッドロスを提示します。広範な実験を通じて、私たちの方法が3D点群検出タスクとうまく整合している軽量モデルを学習できることを確認し、有名な公開データセットWaymoとnuScenesを使用してその優位性を示します。
Recently, point-cloud based 3D object detectors have achieved remarkable progress. However, most studies are limited to the development of deep learning architectures for improving only their accuracy. In this paper, we propose an autoencoder-style framework comprising channel-wise compression and decompression via interchange transfer for knowledge distillation. To learn the map-view feature of a teacher network, the features from a teacher and student network are independently passed through the shared autoencoder; here, we use a compressed representation loss that binds the channel-wised compression knowledge from both the networks as a kind of regularization. The decompressed features are transferred in opposite directions to reduce the gap in the interchange reconstructions. Lastly, we present an attentive head loss for matching the pivotal detection information drawn by the multi-head self-attention mechanism. Through extensive experiments, we verify that our method can learn the lightweight model that is well-aligned with the 3D point cloud detection task and we demonstrate its superiority using the well-known public datasets Waymo and nuScenes.
updated: Tue May 31 2022 04:25:37 GMT+0000 (UTC)
published: Tue May 31 2022 04:25:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト