arXiv reaDer
Primitive3D:ランダムに組み立てられたプリミティブからの3Dオブジェクトデータセット合成
Primitive3D: 3D Object Dataset Synthesis from Randomly Assembled Primitives
ディープラーニングの多くの進歩は、大規模で注釈の付いたデータセットへのアクセスに起因する可能性があります。ただし、このようなデータセットは、かなりの収集コストがかかるため、3Dコンピュータビジョンでは非常に高価です。この問題を軽減するために、注釈付きの大量の3Dオブジェクトを自動的に生成するための費用効果の高い方法を提案します。特に、複数のランダムプリミティブを組み立てるだけでオブジェクトを合成します。したがって、これらのオブジェクトには、プリミティブに由来するパーツラベルが自動注釈されます。これにより、教師なしセグメンテーションと教師なし再構成を組み合わせて、マルチタスク学習を実行できます。生成されたデータセットでの学習の大きなオーバーヘッドを考慮して、ターゲットデータセットに関する冗長なサンプルを削除するためのデータセット蒸留戦略をさらに提案します。 3Dオブジェクト分類のダウンストリームタスクのために広範な実験を実施します。結果は、私たちのデータセットが、その注釈のマルチタスク事前トレーニングとともに、他の一般的に使用されるデータセットと比較して最高のパフォーマンスを達成することを示しています。さらなる研究は、私たちの戦略が、特に小規模のデータセットに対して、事前トレーニングと微調整スキームによってモデルのパフォーマンスを改善できることを示唆しています。さらに、提案されたデータセット蒸留法を使用した事前トレーニングにより、パフォーマンスの低下を無視して、事前トレーニング時間の86%を節約できます。私たちの試みは、3Dディープモデルをトレーニングするための新しいデータ中心の視点を提供することを期待しています。
Numerous advancements in deep learning can be attributed to the access to large-scale and well-annotated datasets. However, such a dataset is prohibitively expensive in 3D computer vision due to the substantial collection cost. To alleviate this issue, we propose a cost-effective method for automatically generating a large amount of 3D objects with annotations. In particular, we synthesize objects simply by assembling multiple random primitives. These objects are thus auto-annotated with part labels originating from primitives. This allows us to perform multi-task learning by combining the supervised segmentation with unsupervised reconstruction. Considering the large overhead of learning on the generated dataset, we further propose a dataset distillation strategy to remove redundant samples regarding a target dataset. We conduct extensive experiments for the downstream tasks of 3D object classification. The results indicate that our dataset, together with multi-task pretraining on its annotations, achieves the best performance compared to other commonly used datasets. Further study suggests that our strategy can improve the model performance by pretraining and fine-tuning scheme, especially for the dataset with a small scale. In addition, pretraining with the proposed dataset distillation method can save 86% of the pretraining time with negligible performance degradation. We expect that our attempt provides a new data-centric perspective for training 3D deep models.
updated: Wed May 25 2022 10:07:07 GMT+0000 (UTC)
published: Wed May 25 2022 10:07:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト