セマンティックフィードバックループを介してバックエンドと結合された分散型スマートエッジセンサーを使用して、マルチカメラセットアップから3D人間のポーズを推定するための新しい方法を提示します。各カメラビューの2Dジョイント検出は、専用の組み込み推論プロセッサでローカルに実行されます。セマンティックスケルトン表現のみがネットワークを介して送信され、生の画像がセンサーボードに残ります。 3Dポーズは、三角測量と人間の骨格に関する事前の知識を組み込んだボディモデルに基づいて、中央のバックエンドの2Dジョイントから復元されます。バックエンドから個々のセンサーへのフィードバックチャネルは、セマンティックレベルで実装されます。同心円状の3Dポーズは、センサービューに逆投影され、2D関節検出と融合されます。したがって、各センサーのローカルセマンティックモデルは、グローバルコンテキスト情報を組み込むことによって改善できます。パイプライン全体がリアルタイムで動作します。 3つの公開データセットでメソッドを評価します。ここでは、最先端の結果を達成し、フィードバックアーキテクチャの利点と、複数人の実験用の独自のセットアップを示します。フィードバック信号を使用すると、2D関節の検出が改善され、推定された3Dポーズが改善されます。
We present a novel method for estimation of 3D human poses from a multi-camera setup, employing distributed smart edge sensors coupled with a backend through a semantic feedback loop. 2D joint detection for each camera view is performed locally on a dedicated embedded inference processor. Only the semantic skeleton representation is transmitted over the network and raw images remain on the sensor board. 3D poses are recovered from 2D joints on a central backend, based on triangulation and a body model which incorporates prior knowledge of the human skeleton. A feedback channel from backend to individual sensors is implemented on a semantic level. The allocentric 3D pose is backprojected into the sensor views where it is fused with 2D joint detections. The local semantic model on each sensor can thus be improved by incorporating global context information. The whole pipeline is capable of real-time operation. We evaluate our method on three public datasets, where we achieve state-of-the-art results and show the benefits of our feedback architecture, as well as in our own setup for multi-person experiments. Using the feedback signal improves the 2D joint detections and in turn the estimated 3D poses.