arXiv reaDer
部分的なシーンでのオブジェクトのローカリゼーションのための空間常識グラフ
Spatial Commonsense Graph for Object Localisation in Partial Scenes
部分的なシーンでのオブジェクトのローカリゼーションを解決します。これは、シーンの部分的な3Dスキャンを前提として、オブジェクトの未知の位置(バッグはどこにあるかなど)を推定する新しい問題です。提案されたソリューションは、新しいシーングラフモデルであるSpatial Commonsense Graph(SCG)に基づいています。ここで、オブジェクトはノードであり、エッジはそれらの間のペアワイズ距離を定義し、概念ノードと常識知識ベースからの関係によって強化されます。これにより、SCGは、未知の3Dシーンに対する空間推論をより一般化することができます。 SCGは、2つのステップでターゲットオブジェクトの未知の位置を推定するために使用されます。最初に、SCGを新しい近接予測ネットワークにフィードします。これは、ターゲットオブジェクトを表すノードとSCGで観測されたオブジェクトを表すノード。次に、参照システムから独立するために、予測されたすべてのペアワイズ距離を使用してオブジェクトの位置を推定する、円形交差に基づくローカリゼーションモジュールを提案します。部分的に再構築されたシーンの新しいデータセットを作成して、部分的なシーンでのオブジェクトのローカリゼーションの方法とベースラインをベンチマークします。提案された方法は、最高のローカリゼーションパフォーマンスを実現します。
We solve object localisation in partial scenes, a new problem of estimating the unknown position of an object (e.g. where is the bag?) given a partial 3D scan of a scene. The proposed solution is based on a novel scene graph model, the Spatial Commonsense Graph (SCG), where objects are the nodes and edges define pairwise distances between them, enriched by concept nodes and relationships from a commonsense knowledge base. This allows SCG to better generalise its spatial inference over unknown 3D scenes. The SCG is used to estimate the unknown position of the target object in two steps: first, we feed the SCG into a novel Proximity Prediction Network, a graph neural network that uses attention to perform distance prediction between the node representing the target object and the nodes representing the observed objects in the SCG; second, we propose a Localisation Module based on circular intersection to estimate the object position using all the predicted pairwise distances in order to be independent of any reference system. We create a new dataset of partially reconstructed scenes to benchmark our method and baselines for object localisation in partial scenes, where our proposed method achieves the best localisation performance.
updated: Thu Mar 10 2022 14:13:35 GMT+0000 (UTC)
published: Thu Mar 10 2022 14:13:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト