arXiv reaDer
CGPart:3Dコンピュータグラフィックスモデルに基づくパーツセグメンテーションデータセット
CGPart: A Part Segmentation Dataset Based on 3D Computer Graphics Models
パーツのセグメンテーションは、オブジェクトの豊富で詳細なパーツレベルの説明を提供しますが、それらの注釈には膨大な量の作業が必要です。このホワイトペーパーでは、3D CADモデル、合成画像、実際のテスト画像に詳細な注釈を付ける包括的なパーツセグメンテーションデータセットであるCGPartを紹介します。 CGPartには、5つの車両カテゴリをカバーする21の3D CADモデルが含まれており、それぞれに詳細なメッシュごとのパーツラベルが付いています。カテゴリごとのパーツの平均数は24であり、これは車両オブジェクトのパーツセグメンテーションの既存のデータセットよりも多くなっています。レンダリングパラメータを変更することにより、これらのCADモデルから168,000の合成画像を作成し、それぞれに自動生成されたパーツセグメンテーションのグラウンドトゥルースを使用します。また、評価のために、200枚の実画像のパーツセグメンテーションに注釈を付けます。 CGPartの価値を説明するために、教師なしドメイン適応(UDA)による画像部分のセグメンテーションに適用します。関連するタスクからパーツのセグメンテーションに最高のパフォーマンスのUDAアルゴリズムを適応させることにより、いくつかのベースラインメソッドを評価します。さらに、幾何学的マッチングガイドドメインアダプテーション(GMG)と呼ばれる新しい方法を紹介します。これは、空間オブジェクト構造を活用して、合成画像から実画像への知識の伝達をガイドします。実験結果は、新しいアルゴリズムの利点を示し、将来の改善のための洞察を明らかにします。データとコードをリリースします。
Part segmentations provide a rich and detailed part-level description of objects, but their annotation requires an enormous amount of work. In this paper, we introduce CGPart, a comprehensive part segmentation dataset that provides detailed annotations on 3D CAD models, synthetic images, and real test images. CGPart includes 21 3D CAD models covering 5 vehicle categories, each with detailed per-mesh part labeling. The average number of parts per category is 24, which is larger than any existing datasets for part segmentation on vehicle objects. By varying the rendering parameters, we make 168,000 synthetic images from these CAD models, each with automatically generated part segmentation ground-truth. We also annotate part segmentations on 200 real images for evaluation purposes. To illustrate the value of CGPart, we apply it to image part segmentation through unsupervised domain adaptation (UDA). We evaluate several baseline methods by adapting top-performing UDA algorithms from related tasks to part segmentation. Moreover, we introduce a new method called Geometric-Matching Guided domain adaptation (GMG), which leverages the spatial object structure to guide the knowledge transfer from the synthetic to the real images. Experimental results demonstrate the advantage of our new algorithm and reveal insights for future improvement. We will release our data and code.
updated: Thu Mar 25 2021 19:34:21 GMT+0000 (UTC)
published: Thu Mar 25 2021 19:34:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト