arXiv reaDer
Three-D Safari:「野生の」画像からゼブラのポーズ、形状、テクスチャを推定する学習
Three-D Safari: Learning to Estimate Zebra Pose, Shape, and Texture from Images "In the Wild"
  野生で取得した画像から動物の自動3Dポーズ、形状、テクスチャキャプチャを実行する最初の方法を紹介します。特に、画像のコレクションからグレビーのシマウマに関する3D情報をキャプチャする問題に焦点を当てています。グレービーのシマウマはアフリカで最も絶滅の危機にspeciesしている種の1つで、数千個体しか残っていません。これらの動物の形とポーズをキャプチャすることで、生物学者と自然保護論者に動物の健康と行動に関する情報を提供できます。人間のポーズ、形状、テクスチャの推定に関する研究とは対照的に、絶滅危ed種の訓練データは限られており、動物はオクルージョンを伴う複雑な自然のシーンにあり、自然にカモフラージュされ、群れを移動し、互いに似ています。これらの課題を克服するために、最近のSMAL動物モデルをネットワークベースの回帰パイプラインに統合し、ポーズ、形状、および背景の変化を伴う合成生成画像でエンドツーエンドのトレーニングを行います。人間の形状と姿勢を推定するための最先端の方法を超えて、私たちの方法はトレーニング中にシマウマの形状空間を学習します。フォトメトリック損失のみを使用して画像からこのような形状空間を学習することは斬新であり、このアプローチを使用して、3D監視が制限されている他の設定で形状を学習できます。さらに、3Dポーズと形状予測をテクスチャ合成のタスクと組み合わせて、単一の画像から動物の完全なテクスチャマップを取得します。予測されたテクスチャマップにより、ネットワーク機能に対するインスタンスごとの新しい教師なし最適化が可能になることを示します。この方法であるSMALST(学習した形状とテクスチャを備えたSMAL)は、手動のキーポイントおよび/またはセグメンテーションを想定した以前の作業を超えて、ピクセルから3D動物の形状、ポーズ、およびテクスチャに直接回帰します。コードとデータはhttps://github.com/silviazuffi/smalstから入手できます。
We present the first method to perform automatic 3D pose, shape and texture capture of animals from images acquired in-the-wild. In particular, we focus on the problem of capturing 3D information about Grevy's zebras from a collection of images. The Grevy's zebra is one of the most endangered species in Africa, with only a few thousand individuals left. Capturing the shape and pose of these animals can provide biologists and conservationists with information about animal health and behavior. In contrast to research on human pose, shape and texture estimation, training data for endangered species is limited, the animals are in complex natural scenes with occlusion, they are naturally camouflaged, travel in herds, and look similar to each other. To overcome these challenges, we integrate the recent SMAL animal model into a network-based regression pipeline, which we train end-to-end on synthetically generated images with pose, shape, and background variation. Going beyond state-of-the-art methods for human shape and pose estimation, our method learns a shape space for zebras during training. Learning such a shape space from images using only a photometric loss is novel, and the approach can be used to learn shape in other settings with limited 3D supervision. Moreover, we couple 3D pose and shape prediction with the task of texture synthesis, obtaining a full texture map of the animal from a single image. We show that the predicted texture map allows a novel per-instance unsupervised optimization over the network features. This method, SMALST (SMAL with learned Shape and Texture) goes beyond previous work, which assumed manual keypoints and/or segmentation, to regress directly from pixels to 3D animal shape, pose and texture. Code and data are available at https://github.com/silviazuffi/smalst.
updated: Tue Sep 17 2019 13:20:59 GMT+0000 (UTC)
published: Tue Aug 20 2019 07:45:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト