arXiv reaDer
DeFeeNet: 偏差フィードバックによる連続的な 3D 人間の動きの予測
DeFeeNet: Consecutive 3D Human Motion Prediction with Deviation Feedback
人間とロボットのコラボレーションなど、人間の動きの予測技術を必要とする現実世界のシナリオを考え直してみましょう。現在の研究では、人間の動きを予測するタスクを、過去に観測されたものに基づいて短い将来のシーケンス (通常は 1 秒以内) を予測する 1 回限りのプロセスに単純化しています。しかし、実際のアプリケーションでの動き予測は、孤立した「観察してから予測する」単位ではなく、そのような単位の多くのラウンドから構成される連続したプロセス、半シーケンス全体に沿ってオーバーラップします。時間が経つにつれて、前のラウンドの予測された部分は、新しいラウンドで観測可能な対応するグラウンド トゥルースを持ちますが、それらの間の偏差は、既存の孤立した学習方法では利用されず、キャプチャすることもできません。このホワイト ペーパーでは、DeFeeNet を提案します。これは、既存の 1 回限りの予測モデルに追加して、連続的な動き予測タスクに適用したときに偏差の認識とフィードバックを実現できるシンプルで効果的なネットワークです。各予測ラウンドで、前のユニットによって生成された偏差は、最初に DeFeeNet によってエンコードされ、次に既存の予測子に組み込まれて、偏差を認識する予測方法を有効にします。これにより、初めて、隣接する予測ユニット間で情報を送信できます。それぞれ MLP ベースと GRU ベースの 2 つのバージョンの DeFeeNet を設計します。 Human3.6M およびより複雑な BABEL では、実験結果は、基本モデルに関係なく、提案されたネットワークが連続的な人間の動きの予測パフォーマンスを向上させることを示しています。
Let us rethink the real-world scenarios that require human motion prediction techniques, such as human-robot collaboration. Current works simplify the task of predicting human motions into a one-off process of forecasting a short future sequence (usually no longer than 1 second) based on a historical observed one. However, such simplification may fail to meet practical needs due to the neglect of the fact that motion prediction in real applications is not an isolated ``observe then predict'' unit, but a consecutive process composed of many rounds of such unit, semi-overlapped along the entire sequence. As time goes on, the predicted part of previous round has its corresponding ground truth observable in the new round, but their deviation in-between is neither exploited nor able to be captured by existing isolated learning fashion. In this paper, we propose DeFeeNet, a simple yet effective network that can be added on existing one-off prediction models to realize deviation perception and feedback when applied to consecutive motion prediction task. At each prediction round, the deviation generated by previous unit is first encoded by our DeFeeNet, and then incorporated into the existing predictor to enable a deviation-aware prediction manner, which, for the first time, allows for information transmit across adjacent prediction units. We design two versions of DeFeeNet as MLP-based and GRU-based, respectively. On Human3.6M and more complicated BABEL, experimental results indicate that our proposed network improves consecutive human motion prediction performance regardless of the basic model.
updated: Mon Apr 10 2023 10:18:23 GMT+0000 (UTC)
published: Mon Apr 10 2023 10:18:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト