3D 認識は、自動運転やロボティクスなど、多くの新しい分野における 3D ディープ ラーニングの基盤です。既存の 3D 手法は、主に既知のクラスの固定セットの認識に焦点を当てており、テスト中に未知のクラスの可能性を無視しています。これらの未知のクラスは、自動運転などの安全性が重要なアプリケーションで重大な事故を引き起こす可能性があります。この作業では、分類器が既知のクラスを認識できるだけでなく、未知のクラスも認識できるように、3D オープンセット認識 (OSR) に対処する最初の試みを行います。 3D ドメインのオープン セットのリスクを分析し、3D OSR タスクで既存の方法のパフォーマンスを低下させる自信過剰と表現不足の問題を指摘します。上記の問題を解決するために、PartCom という新しいパーツ プロトタイプ ベースの OSR メソッドを提案します。パーツ プロトタイプを使用して 3D 形状をパーツ構成として表します。これは、パーツ構成が形状の全体的な構造を表すことができ、さまざまな既知のクラスと未知のクラスを区別するのに役立つためです。次に、部品プロトタイプの有効性を確保するために、部品プロトタイプに 2 つの制約を定式化します。オープンセットのリスクをさらに軽減するために、異なるクラスの部分複合機能を混同することにより、未知の機能を未知のサンプルの代表として合成する PUFS モジュールを考案しました。 CAD 形状データセットとスキャン形状データセットの両方に基づいて、3 種類の 3D OSR タスクの実験を行います。広範な実験により、私たちの方法は既知のクラスと未知のクラスを分類するのに強力であり、すべての 3D OSR タスクで SOTA ベースラインよりもはるかに優れた結果を達成できることが示されています。プロジェクトがリリースされます。
3D recognition is the foundation of 3D deep learning in many emerging fields, such as autonomous driving and robotics.Existing 3D methods mainly focus on the recognition of a fixed set of known classes and neglect possible unknown classes during testing. These unknown classes may cause serious accidents in safety-critical applications, i.e. autonomous driving. In this work, we make a first attempt to address 3D open-set recognition (OSR) so that a classifier can recognize known classes as well as be aware of unknown classes. We analyze open-set risks in the 3D domain and point out the overconfidence and under-representation problems that make existing methods perform poorly on the 3D OSR task. To resolve above problems, we propose a novel part prototype-based OSR method named PartCom. We use part prototypes to represent a 3D shape as a part composition, since a part composition can represent the overall structure of a shape and can help distinguish different known classes and unknown ones. Then we formulate two constraints on part prototypes to ensure their effectiveness. To reduce open-set risks further, we devise a PUFS module to synthesize unknown features as representatives of unknown samples by mixing up part composite features of different classes. We conduct experiments on three kinds of 3D OSR tasks based on both CAD shape dataset and scan shape dataset. Extensive experiments show that our method is powerful in classifying known classes and unknown ones and can attain much better results than SOTA baselines on all 3D OSR tasks. The project will be released.