arXiv reaDer
1ポイント、1オブジェクト:同時3Dオブジェクトセグメンテーションと6自由度ポーズ推定
One Point, One Object: Simultaneous 3D Object Segmentation and 6-DOF Pose Estimation
 1つのポイントは1つのオブジェクトにのみ属する、つまり各ポイントには6-を予測する潜在的な力があるというコンセンサスに基づいて、純粋な3Dポイントクラウドシーンでの同時3Dオブジェクトセグメンテーションと6-DOFポーズ推定のためのシングルショット法を提案します対応するオブジェクトのDOFポーズ。 2D検出器に依存して3Dバウンディングボックスの3Dコーナーの投影を予測する同様のタスクの最近提案された方法とは異なり、6-DOFポーズは空間変換法のようなPnPで推定する必要がありますが、異なる次元間で追加の空間変換が必要です。多くのオブジェクトのトレーニングデータが不足しているため、最近提案された2D検出方法は、レンダリングエンジンを使用してトレーニングデータを生成し、良好な結果を達成しようとします。ただし、6-DOFとともに3D空間でのレンダリングは比較的困難です。したがって、半仮想現実3D空間でトレーニングデータを生成する拡張現実技術を提案します。この方法の重要なコンポーネントは、純粋な3D点群で3Dオブジェクトのセグメンテーションと6-DOFポーズの推定を同時に予測できるマルチタスクCNNアーキテクチャです。実験的評価のために、拡張現実テクノロジー(AR)を使用して、2つの最先端の3DオブジェクトデータセットPLCHFTLINEMODの拡張トレーニングデータを生成します。 2つのデータセットで提案された方法を評価します。結果は、我々の方法が複数のシナリオにうまく一般化され、最新技術と同等以上のパフォーマンスを提供できることを示しています。
We propose a single-shot method for simultaneous 3D object segmentation and 6-DOF pose estimation in pure 3D point clouds scenes based on a consensus that one point only belongs to one object, i.e., each point has the potential power to predict the 6-DOF pose of its corresponding object. Unlike the recently proposed methods of the similar task, which rely on 2D detectors to predict the projection of 3D corners of the 3D bounding boxes and the 6-DOF pose must be estimated by a PnP like spatial transformation method, ours is concise enough not to require additional spatial transformation between different dimensions. Due to the lack of training data for many objects, the recently proposed 2D detection methods try to generate training data by using rendering engine and achieve good results. However, rendering in 3D space along with 6-DOF is relatively difficult. Therefore, we propose an augmented reality technology to generate the training data in semi-virtual reality 3D space. The key component of our method is a multi-task CNN architecture that can simultaneously predicts the 3D object segmentation and 6-DOF pose estimation in pure 3D point clouds. For experimental evaluation, we generate expanded training data for two state-of-the-arts 3D object datasets PLCHFTLINEMOD by using Augmented Reality technology (AR). We evaluate our proposed method on the two datasets. The results show that our method can be well generalized into multiple scenarios and provide performance comparable to or better than the state-of-the-arts.
updated: Thu Jun 06 2024 08:28:13 GMT+0000 (UTC)
published: Fri Dec 27 2019 13:48:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト