arXiv reaDer
半弱教師あり物体の運動学的運動予測
Semi-Weakly Supervised Object Kinematic Motion Prediction
3D オブジェクトが与えられた場合、キネマティック モーション予測は、可動部分と対応するモーション パラメーターを特定することを目的としています。 3D オブジェクトのトポロジ構造と幾何学的詳細の両方に大きなばらつきがあるため、これは依然として困難な作業であり、大規模なラベル付きデータがないことも、深層学習ベースのアプローチのパフォーマンスを制約します。この論文では、オブジェクトの運動学的動き予測問題のタスクに、半弱教師あり方法で取り組みます。私たちの主な所見は 2 つあります。まず、完全に注釈が付けられたモーション ラベルを含む 3D データセットは限られていますが、オブジェクト パーツのセマンティック セグメンテーションを大規模に行う既存のデータセットと方法があります。第 2 に、セマンティック パーツのセグメンテーションとモバイル パーツのセグメンテーションは常に一致しているわけではありませんが、基礎となる 3D 構造からモバイル パーツを検出することは可能です。この目的に向けて、階層的な部品レベルのセグメンテーションと可動部品パラメータの間のマップを学習するグラフ ニューラル ネットワークを提案します。これは、幾何学的配置に基づいてさらに洗練されます。このネットワークは、最初に完全にラベル付けされたモビリティ情報を使用して PartNet-Mobility データセットでトレーニングし、次に、きめ細かく階層的なパーツ レベルのセグメンテーションを使用して PartNet データセットに適用できます。ネットワーク予測は、疑似ラベル付けされたモビリティ情報を持つ大規模な 3D オブジェクトを生成し、既存のセグメンテーションを使用した弱い教師あり学習にさらに使用できます。私たちの実験では、3D 部分スキャンでの運動学的動き予測用に設計された以前の方法の拡張データを使用すると、パフォーマンスが大幅に向上することが示されています。
Given a 3D object, kinematic motion prediction aims to identify the mobile parts as well as the corresponding motion parameters. Due to the large variations in both topological structure and geometric details of 3D objects, this remains a challenging task and the lack of large scale labeled data also constrain the performance of deep learning based approaches. In this paper, we tackle the task of object kinematic motion prediction problem in a semi-weakly supervised manner. Our key observations are two-fold. First, although 3D dataset with fully annotated motion labels is limited, there are existing datasets and methods for object part semantic segmentation at large scale. Second, semantic part segmentation and mobile part segmentation is not always consistent but it is possible to detect the mobile parts from the underlying 3D structure. Towards this end, we propose a graph neural network to learn the map between hierarchical part-level segmentation and mobile parts parameters, which are further refined based on geometric alignment. This network can be first trained on PartNet-Mobility dataset with fully labeled mobility information and then applied on PartNet dataset with fine-grained and hierarchical part-level segmentation. The network predictions yield a large scale of 3D objects with pseudo labeled mobility information and can further be used for weakly-supervised learning with pre-existing segmentation. Our experiments show there are significant performance boosts with the augmented data for previous method designed for kinematic motion prediction on 3D partial scans.
updated: Fri Mar 31 2023 02:37:36 GMT+0000 (UTC)
published: Fri Mar 31 2023 02:37:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト