arXiv reaDer
通信学習とメッシュ細分化を伴う3Dポーズ転送
3D Pose Transfer with Correspondence Learning and Mesh Refinement
3Dポーズ転送は、最も困難な3D生成タスクの1つです。これは、ソースメッシュのポーズをターゲットメッシュに転送し、ターゲットメッシュのアイデンティティ(たとえば、体型)を維持することを目的としています。以前の作品の中には、ソースメッシュとターゲットメッシュ間の信頼できる対応を構築するためにキーポイントアノテーションを必要とするものもありますが、他の方法ではソースとターゲット間の形状対応を考慮しないため、生成品質が制限されます。この作業では、人間と動物の両方のメッシュの3Dポーズ転送を支援するための通信改良ネットワークを提案します。ソースメッシュとターゲットメッシュ間の対応は、最初に最適なトランスポート問題を解決することによって確立されます。次に、密な対応に従ってソースメッシュをワープし、粗いワープメッシュを取得します。ワープされたメッシュは、条件付き正規化レイヤーであり、高品質のメッシュを生成するのに役立つ、提案されたElastic InstanceNormalizationを使用してより適切に調整されます。広範な実験結果は、提案されたアーキテクチャがソースからターゲットメッシュにポーズを効果的に転送し、最先端の方法よりも満足のいく視覚的パフォーマンスでより良い結果を生み出すことができることを示しています。
3D pose transfer is one of the most challenging 3D generation tasks. It aims to transfer the pose of a source mesh to a target mesh and keep the identity (e.g., body shape) of the target mesh. Some previous works require key point annotations to build reliable correspondence between the source and target meshes, while other methods do not consider any shape correspondence between sources and targets, which leads to limited generation quality. In this work, we propose a correspondence-refinement network to help the 3D pose transfer for both human and animal meshes. The correspondence between source and target meshes is first established by solving an optimal transport problem. Then, we warp the source mesh according to the dense correspondence and obtain a coarse warped mesh. The warped mesh will be better refined with our proposed Elastic Instance Normalization, which is a conditional normalization layer and can help to generate high-quality meshes. Extensive experimental results show that the proposed architecture can effectively transfer the poses from source to target meshes and produce better results with satisfied visual performance than state-of-the-art methods.
updated: Tue Oct 26 2021 12:10:44 GMT+0000 (UTC)
published: Thu Sep 30 2021 11:49:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト