服を着た人間の3Dスキャンに3D人間モデルを適合させる問題に対処します。従来の方法は、データとモデルの対応と人間のモデルパラメータ(ポーズと形状)の両方を最適化しますが、ソリューションの近くで初期化された場合にのみ信頼できます。一部のメソッドは、完全に監視された対応予測子に基づいて最適化を初期化します。これは、エンドツーエンドで区別できず、一度に1つのスキャンしか処理できません。私たちの主な貢献は、スキャンのコーパスを一般的な3D人間モデルに登録するためのエンドツーエンドの学習フレームワークであるLoopRegです。重要なアイデアは、自己監視ループを作成することです。ニューラルネットワークによってパラメータ化された後方マップは、すべてのスキャンポイントから人間モデルの表面への対応を予測します。人間のモデルによってパラメータ化されたフォワードマップは、モデルのパラメータ(ポーズと形状)に基づいて対応するポイントをスキャンに変換し、ループを閉じます。 NNの出力を人間のモデルの表面に強制することは簡単ではないため、この閉ループの定式化は簡単ではありません。この表面の外側では、人間のモデルは定義されていません。この目的のために、2つの重要なイノベーションを提案します。まず、標準的な表面をR3の距離フィールドのゼロレベルセットとして暗黙的に定義します。これは、より一般的なUVパラメータ化とは対照的に、表面を切断する必要がなく、不連続性がなく、歪みを引き起こしません。次に、人間のモデルを3DドメインR3に拡散します。これにより、ゼロレベルセットからわずかに逸脱している場合でも、NN予測を前方にマッピングできます。結果は、LoopRegmainlyを自己監視でトレーニングできることを示しています。監視ありウォームスタートに続いて、追加のラベルなし生スキャンが処理されるにつれて、モデルはますます正確になります。私たちのコードと事前に訓練されたモデルは、研究のためにダウンロードすることができます。
We address the problem of fitting 3D human models to 3D scans of dressed humans. Classical methods optimize both the data-to-model correspondences and the human model parameters (pose and shape), but are reliable only when initialized close to the solution. Some methods initialize the optimization based on fully supervised correspondence predictors, which is not differentiable end-to-end, and can only process a single scan at a time. Our main contribution is LoopReg, an end-to-end learning framework to register a corpus of scans to a common 3D human model. The key idea is to create a self-supervised loop. A backward map, parameterized by a Neural Network, predicts the correspondence from every scan point to the surface of the human model. A forward map, parameterized by a human model, transforms the corresponding points back to the scan based on the model parameters (pose and shape), thus closing the loop. Formulating this closed loop is not straightforward because it is not trivial to force the output of the NN to be on the surface of the human model - outside this surface the human model is not even defined. To this end, we propose two key innovations. First, we define the canonical surface implicitly as the zero level set of a distance field in R3, which in contrast to morecommon UV parameterizations, does not require cutting the surface, does not have discontinuities, and does not induce distortion. Second, we diffuse the human model to the 3D domain R3. This allows to map the NN predictions forward,even when they slightly deviate from the zero level set. Results demonstrate that we can train LoopRegmainly self-supervised - following a supervised warm-start, the model becomes increasingly more accurate as additional unlabelled raw scans are processed. Our code and pre-trained models can be downloaded for research.