arXiv reaDer
Semantic Part Detection via Matching: Learning to Generalize to Novel Viewpoints from Limited Training Data
  オブジェクトのセマンティック部分を検出することは、特にセマンティック部分に注釈を付けるのが難しいため、大きな注釈付きデータセットを構築するのが難しいため、コンピュータービジョンでは困難な作業です。この論文では、注釈付きのセマンティックパーツの小さなトレーニングデータセットから学習するアプローチを提示します。オブジェクトは限られた範囲の視点から見られますが、より広い範囲の視点からセマンティックパーツを検出するために一般化します。このアプローチは、2つの画像間の正確な空間的対応を見つけるためのマッチングアルゴリズムに基づいており、1つの画像に注釈が付けられたセマンティックパーツを別の画像に移植できます。特に、これにより、トレーニングデータセットの画像をオブジェクトの仮想3Dモデルに一致させることができます(簡単にするために、オブジェクトの視点は標準的な手法で推定できると仮定しています)。次に、クラスタリングアルゴリズムを使用して、3D仮想モデルのセマンティック部分に注釈を付けます。この仮想3Dモデルを使用して、広範囲の視点から注釈付き画像を合成できます。これらは、同じマッチングアルゴリズムを使用して、テストセット内の画像とマッチングして、オブジェクトの新しい視点でセマンティックパーツを検出できます。アルゴリズムは非常にシンプルで直感的で、パラメーターはほとんど含まれていません。 VehicleSemanticPartデータセットのcarサブクラスでアプローチを評価します。標準のディープネットワークアプローチよりも優れており、特に、新しい視点でより優れたパフォーマンスを発揮します。将来の研究を促進するために、コードが利用可能です:
Detecting semantic parts of an object is a challenging task in computer vision, particularly because it is hard to construct large annotated datasets due to the difficulty of annotating semantic parts. In this paper we present an approach which learns from a small training dataset of annotated semantic parts, where the object is seen from a limited range of viewpoints, but generalizes to detect semantic parts from a much larger range of viewpoints. Our approach is based on a matching algorithm for finding accurate spatial correspondence between two images, which enables semantic parts annotated on one image to be transplanted to another. In particular, this enables images in the training dataset to be matched to a virtual 3D model of the object (for simplicity, we assume that the object viewpoint can be estimated by standard techniques). Then a clustering algorithm is used to annotate the semantic parts of the 3D virtual model. This virtual 3D model can be used to synthesize annotated images from a large range of viewpoint. These can be matched to images in the test set, using the same matching algorithm, to detect semantic parts in novel viewpoints of the object. Our algorithm is very simple, intuitive, and contains very few parameters. We evaluate our approach in the car subclass of the VehicleSemanticPart dataset. We show it outperforms standard deep network approaches and, in particular, performs much better on novel viewpoints. For facilitating the future research, code is available:
updated: Fri Sep 13 2019 03:54:50 GMT+0000 (UTC)
published: Wed Nov 28 2018 20:48:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト