高いフレームレートは、速い人間の動きをキャプチャするための重要な要件です。この設定では、既存のマーカーレス画像ベースの方法は、照明の要件、高いデータ帯域幅、および結果として生じる高い計算オーバーヘッドによって制約されます。この論文では、EventCapを提案します---シングルイベントカメラを使用して高速の人間の動きを3Dキャプチャするための最初のアプローチです。私たちの方法は、モデルベースの最適化とCNNベースの人間の姿勢検出を組み合わせて、高周波数の動きの詳細をキャプチャし、追跡のドリフトを低減します。その結果、高フレームレートのビデオを使用するよりもはるかに高いデータ効率で、ミリ秒の解像度で高速モーションをキャプチャできます。新しいイベントベースの高速な人間の動きのデータセットに関する実験は、この方法の有効性と精度、および困難な照明条件に対する堅牢性を示しています。
The high frame rate is a critical requirement for capturing fast human motions. In this setting, existing markerless image-based methods are constrained by the lighting requirement, the high data bandwidth and the consequent high computation overhead. In this paper, we propose EventCap --- the first approach for 3D capturing of high-speed human motions using a single event camera. Our method combines model-based optimization and CNN-based human pose detection to capture high-frequency motion details and to reduce the drifting in the tracking. As a result, we can capture fast motions at millisecond resolution with significantly higher data efficiency than using high frame rate videos. Experiments on our new event-based fast human motion dataset demonstrate the effectiveness and accuracy of our method, as well as its robustness to challenging lighting conditions.