新しいクラスのセットに対して十分にトレーニングされた深層学習モデルを微調整すると、ネットワークは新しい概念を学習しますが、古いトレーニングの知識を徐々に忘れてしまいます。一部の実際のアプリケーションでは、以前の経験の能力を忘れずに新しいクラスを学習することに興味があるかもしれません。問題を忘れないこのような学習は、2D画像認識タスクを使用して調査されることがよくあります。この論文では、深度カメラ技術の成長を考慮して、3D点群オブジェクトデータの同じ問題に対処します。この問題は、大規模なデータセットと強力な事前トレーニング済みバックボーンモデルが利用できないため、2Dよりも3Dドメインでより困難になります。以前のトレーニングの壊滅的な忘れを減らすために、3Dデータの知識蒸留技術を調査します。さらに、オブジェクトクラスのセマンティックワードベクトルを使用して、蒸留プロセスを改善します。トレーニング中に新旧の知識の相互関係を探求することは、古い概念を忘れることなく新しい概念を学ぶのに役立つことがわかります。 3つの3Dポイントクラウド認識バックボーン(PointNet、DGCNN、およびPointConv)と合成(ModelNet40、ModelNet10)および実際にスキャンされた(ScanObjectNN)データセットで実験し、3Dデータを忘れることなく学習に関する新しいベースライン結果を確立します。この研究は、この分野での多くの将来の研究を扇動するでしょう。
When we fine-tune a well-trained deep learning model for a new set of classes, the network learns new concepts but gradually forgets the knowledge of old training. In some real-life applications, we may be interested in learning new classes without forgetting the capability of previous experience. Such learning without forgetting problem is often investigated using 2D image recognition tasks. In this paper, considering the growth of depth camera technology, we address the same problem for the 3D point cloud object data. This problem becomes more challenging in the 3D domain than 2D because of the unavailability of large datasets and powerful pretrained backbone models. We investigate knowledge distillation techniques on 3D data to reduce catastrophic forgetting of the previous training. Moreover, we improve the distillation process by using semantic word vectors of object classes. We observe that exploring the interrelation of old and new knowledge during training helps to learn new concepts without forgetting old ones. Experimenting on three 3D point cloud recognition backbones (PointNet, DGCNN, and PointConv) and synthetic (ModelNet40, ModelNet10) and real scanned (ScanObjectNN) datasets, we establish new baseline results on learning without forgetting for 3D data. This research will instigate many future works in this area.