arXiv reaDer
BARC:犬種情報を利用して画像から3D犬の形を回帰することを学ぶ
BARC: Learning to Regress 3D Dog Shape from Images by Exploiting Breed Information
私たちの目標は、犬の3D形状とポーズを1つの画像から復元することです。犬はさまざまな形や外観を示し、高度に明瞭に表現されているため、これは困難な作業です。最近の研究では、画像から、追加の四肢スケールパラメータを使用してSMAL動物モデルを直接回帰することが提案されています。 BARC(分類を使用した品種増強回帰)と呼ばれる私たちの方法は、いくつかの重要な点で以前の研究を超えています。まず、犬の形を表現するのにより適したSMAL形状空間を変更します。ただし、より優れた形状モデルを使用しても、3Dグラウンドトゥルースを使用したペア画像がないため、画像から犬の形状を回帰する問題は依然として困難です。ペアのデータの不足を補うために、犬の品種に関する情報を利用する新しい損失を作成します。特に、同じ品種の犬が似たような体型をしているという事実を利用しています。 2つの部分からなる新しい犬種の類似性の喪失を定式化します。1つの用語は、同じ犬種の犬の形が異なる犬種の犬よりも類似するように促します。 2つ目は、品種分類の喪失であり、認識可能な品種固有の形状を生成するのに役立ちます。アブレーション研究を通じて、私たちの品種の損失は、それらがない場合のベースラインよりも形状の精度を大幅に向上させることがわかりました。また、知覚的研究により、BARCをWLDOと定性的に比較し、私たちのアプローチにより、はるかに現実的な犬が生まれることを発見しました。この作業は、遺伝的類似性に関する事前情報が3Dトレーニングデータの不足を補うのに役立つ可能性があることを示しています。この概念は、他の動物種または種のグループに適用できる場合があります。私たちのコードは、https://barc.is.tue.mpg.de/で研究目的で公開されています。
Our goal is to recover the 3D shape and pose of dogs from a single image. This is a challenging task because dogs exhibit a wide range of shapes and appearances, and are highly articulated. Recent work has proposed to directly regress the SMAL animal model, with additional limb scale parameters, from images. Our method, called BARC (Breed-Augmented Regression using Classification), goes beyond prior work in several important ways. First, we modify the SMAL shape space to be more appropriate for representing dog shape. But, even with a better shape model, the problem of regressing dog shape from an image is still challenging because we lack paired images with 3D ground truth. To compensate for the lack of paired data, we formulate novel losses that exploit information about dog breeds. In particular, we exploit the fact that dogs of the same breed have similar body shapes. We formulate a novel breed similarity loss consisting of two parts: One term encourages the shape of dogs from the same breed to be more similar than dogs of different breeds. The second one, a breed classification loss, helps to produce recognizable breed-specific shapes. Through ablation studies, we find that our breed losses significantly improve shape accuracy over a baseline without them. We also compare BARC qualitatively to WLDO with a perceptual study and find that our approach produces dogs that are significantly more realistic. This work shows that a-priori information about genetic similarity can help to compensate for the lack of 3D training data. This concept may be applicable to other animal species or groups of species. Our code is publicly available for research purposes at https://barc.is.tue.mpg.de/.
updated: Sun Jun 19 2022 03:06:33 GMT+0000 (UTC)
published: Tue Mar 29 2022 13:16:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト