多くのビジョンおよびロボット工学アプリケーションでは、キャプチャされたオブジェクトが非常に少数の点で表されるのが一般的です。既存の補完メソッドのほとんどは、多くのポイントを持つ部分的なポイント クラウド用に設計されており、ポイントが少ない場合はパフォーマンスが低下するか、完全に失敗することさえあります。ただし、詳細情報が不足しているため、いくつかのポイントからオブジェクトを完成させることは大きな課題に直面しています。画像ベースのビジョン タスクにおける GAN と Transformer の成功したアプリケーションに触発されて、上記の問題に対処するための GAN と Transformer の手法を紹介します。まず、Transformer を使用したエンドツーエンドのエンコーダー/デコーダー ネットワークと Transformer を使用した Wasserstein GAN が事前トレーニングされ、次にネットワーク全体が微調整されます。 ShapeNet データセットの実験結果は、私たちの方法が多くの入力ポイントの補完パフォーマンスを向上させるだけでなく、少数の入力ポイントでも安定性を維持できることを示しています。ソース コードは https://github.com/WxfQjh/Stability-point-recovery.git で入手できます。
In many vision and robotics applications, it is common that the captured objects are represented by very few points. Most of the existing completion methods are designed for partial point clouds with many points, and they perform poorly or even fail completely in the case of few points. However, due to the lack of detail information, completing objects from few points faces a huge challenge. Inspired by the successful applications of GAN and Transformers in the image-based vision task, we introduce GAN and Transformer techniques to address the above problem. Firstly, the end-to-end encoder-decoder network with Transformers and the Wasserstein GAN with Transformer are pre-trained, and then the overall network is fine-tuned. Experimental results on the ShapeNet dataset show that our method can not only improve the completion performance for many input points, but also keep stable for few input points. Our source code is available at https://github.com/WxfQjh/Stability-point-recovery.git.