arXiv reaDer
合成車両からの教師なしドメイン適応による部品セグメンテーションの学習
Learning Part Segmentation through Unsupervised Domain Adaptation from Synthetic Vehicles
パーツのセグメンテーションは、オブジェクトの豊富で詳細なパーツレベルの説明を提供します。ただし、それらの注釈には膨大な量の作業が必要であるため、標準的な深層学習方法を適用することは困難です。本論文では、合成データから教師なしドメイン適応(UDA)を介して部分セグメンテーションを学習するというアイデアを提案します。最初に、UDAの適切なベンチマークとして機能できる車両用の包括的なパーツセグメンテーションデータセットであるUDA-Partを紹介します(https://qliu24.github.io/udapart)。 UDA-Partでは、3D CADモデルでパーツにラベルを付けて、注釈付きの合成画像の大規模なセットを生成できるようにします。また、実際のテストセットを提供するために、いくつかの実際の画像のパーツに注釈を付けます。次に、合成データから実際の画像にトレーニングされたパーツモデルの適応を進めるために、オブジェクトの空間構造を活用して適応プロセスをガイドする新しいUDAアルゴリズムを導入します。 2つの実際のテストデータセットでの実験結果は、既存の作業に対するアプローチの優位性を確認し、合成データから一般的なオブジェクトのパーツセグメンテーションを学習する可能性を示しています。私たちのデータセットは、パーツのセグメンテーションのためにUDAを研究するための豊富なテストベッドを提供し、この分野の研究を大幅に推進するのに役立つと信じています。
Part segmentations provide a rich and detailed part-level description of objects. However, their annotation requires an enormous amount of work, which makes it difficult to apply standard deep learning methods. In this paper, we propose the idea of learning part segmentation through unsupervised domain adaptation (UDA) from synthetic data. We first introduce UDA-Part, a comprehensive part segmentation dataset for vehicles that can serve as an adequate benchmark for UDA (https://qliu24.github.io/udapart). In UDA-Part, we label parts on 3D CAD models which enables us to generate a large set of annotated synthetic images. We also annotate parts on a number of real images to provide a real test set. Secondly, to advance the adaptation of part models trained from the synthetic data to the real images, we introduce a new UDA algorithm that leverages the object's spatial structure to guide the adaptation process. Our experimental results on two real test datasets confirm the superiority of our approach over existing works, and demonstrate the promise of learning part segmentation for general objects from synthetic data. We believe our dataset provides a rich testbed to study UDA for part segmentation and will help to significantly push forward research in this area.
updated: Sun Apr 03 2022 05:54:09 GMT+0000 (UTC)
published: Thu Mar 25 2021 19:34:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト