既存のアプローチに影響を与えるドリフトの問題を排除する、3Dの人間の姿勢推定の弱教師付き学習用の新しいデータ駆動型のレギュライザーを提示します。これを行うには、ステレオ再構成の問題をネットワーク自体の損失に移します。これにより、トレーニング前に3Dデータを再構築する必要がなくなり、以前の半教師ありアプローチとは異なり、教師ありトレーニングのウォームアップ期間が不要になります。私たちのアプローチの概念と実装の単純さは、その魅力の基本です。追加の再投影ベースの損失を使用して、多くの弱監視型アプローチを単純化するだけでなく、再構成を形成し、ドリフトを防止する方法が明らかです。このように、私たちは、それが弱く監督された3D再構成で働いている研究者にとって貴重なツールになると信じています。利用可能な最大のマルチカメラおよびマーカーレスデータセットであるパノプティックで評価すると、トレーニングで3Dグラウンドトゥルースを最大限に活用した強力な教師付きアプローチと本質的に区別できない精度が得られます。
We present a novel data-driven regularizer for weakly-supervised learning of 3D human pose estimation that eliminates the drift problem that affects existing approaches. We do this by moving the stereo reconstruction problem into the loss of the network itself. This avoids the need to reconstruct 3D data prior to training and unlike previous semi-supervised approaches, avoids the need for a warm-up period of supervised training. The conceptual and implementational simplicity of our approach is fundamental to its appeal. Not only is it straightforward to augment many weakly-supervised approaches with our additional re-projection based loss, but it is obvious how it shapes reconstructions and prevents drift. As such we believe it will be a valuable tool for any researcher working in weakly-supervised 3D reconstruction. Evaluating on Panoptic, the largest multi-camera and markerless dataset available, we obtain an accuracy that is essentially indistinguishable from a strongly-supervised approach making full use of 3D groundtruth in training.