arXiv reaDer
NeuralAnnot:3Dヒューマンメッシュトレーニングセット用のニューラルアノテーター
NeuralAnnot: Neural Annotator for 3D Human Mesh Training Sets
ほとんどの3Dヒューマンメッシュリグレッサは、3D疑似GTヒューマンモデルパラメータで完全に監視され、3D疑似GTが大幅なパフォーマンス向上をもたらすため、GT 2D/3D関節座標で弱く監視されます。 3D疑似GTは、リグレッサの前処理段階でトレーニングセットのGT 2D/3Dジョイント座標に3D人間モデルパラメータを繰り返し適合させるシステムであるアノテーターによって取得されます。最後のフィッティング反復でフィッティングされた3Dパラメーターは3D疑似GTになり、リグレッサーを完全に監視するために使用されます。 SMPLify-Xなどの最適化ベースのアノテーターは、3D疑似GTを取得するために広く使用されています。ただし、3Dパラメータを各サンプルのGTに個別に適合させるため、誤った3D疑似GTが生成されることがよくあります。制限を克服するために、ニューラルネットワークベースのアノテーターであるNeuralAnnotを紹介します。 NeuralAnnotの主なアイデアは、ニューラルネットワークベースのリグレッサを採用し、それをアノテーション専用にすることです。 3D疑似GTが利用できないと仮定すると、NeuralAnnotは、トレーニングセットのGT 2D/3Dジョイント座標で弱く監視されます。同じトレーニングセットでのテスト結果は3D疑似GTになり、リグレッサーを完全に監視するために使用されます。 NeuralAnnotの3D疑似GTは、リグレッサーをトレーニングするのに非常に有益であることを示します。 3D疑似GTを公開しました。
Most 3D human mesh regressors are fully supervised with 3D pseudo-GT human model parameters and weakly supervised with GT 2D/3D joint coordinates as the 3D pseudo-GTs bring great performance gain. The 3D pseudo-GTs are obtained by annotators, systems that iteratively fit 3D human model parameters to GT 2D/3D joint coordinates of training sets in the pre-processing stage of the regressors. The fitted 3D parameters at the last fitting iteration become the 3D pseudo-GTs, used to fully supervise the regressors. Optimization-based annotators, such as SMPLify-X, have been widely used to obtain the 3D pseudo-GTs. However, they often produce wrong 3D pseudo-GTs as they fit the 3D parameters to GT of each sample independently. To overcome the limitation, we present NeuralAnnot, a neural network-based annotator. The main idea of NeuralAnnot is to employ a neural network-based regressor and dedicate it for the annotation. Assuming no 3D pseudo-GTs are available, NeuralAnnot is weakly supervised with GT 2D/3D joint coordinates of training sets. The testing results on the same training sets become 3D pseudo-GTs, used to fully supervise the regressors. We show that 3D pseudo-GTs of NeuralAnnot are highly beneficial to train the regressors. We made our 3D pseudo-GTs publicly available.
updated: Tue Apr 19 2022 06:04:38 GMT+0000 (UTC)
published: Mon Nov 23 2020 06:33:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト