arXiv reaDer
Unsupervised Learning of Object Structure and Dynamics from Videos
 監視なしでビデオからオブジェクトの構造とダイナミクスを抽出して予測することは、機械学習の大きな課題です。この課題に対処するために、キーポイントベースの画像表現を採用し、キーポイントの確率的ダイナミクスモデルを学習します。将来のフレームは、キーポイントと参照フレームから再構築されます。キーポイント座標空間のダイナミクスをモデリングすることにより、安定した学習を実現し、ピクセル空間でのエラーの悪化を回避します。私たちの方法は、ピクセルレベルのビデオ予測と、モーションダイナミクスのオブジェクトレベルの理解を必要とするダウンストリームタスクの両方の非構造化表現を改善します。マルチエージェントスポーツデータセット、Human3.6Mデータセット、DeepMind Control Suiteからの連続制御タスクに基づくデータセットなど、さまざまなデータセットでモデルを評価します。空間的に構造化された表現は、オブジェクト追跡、アクション認識、報酬予測などのモーション関連タスクの範囲で非構造化表現よりも優れています。
Extracting and predicting object structure and dynamics from videos without supervision is a major challenge in machine learning. To address this challenge, we adopt a keypoint-based image representation and learn a stochastic dynamics model of the keypoints. Future frames are reconstructed from the keypoints and a reference frame. By modeling dynamics in the keypoint coordinate space, we achieve stable learning and avoid compounding of errors in pixel space. Our method improves upon unstructured representations both for pixel-level video prediction and for downstream tasks requiring object-level understanding of motion dynamics. We evaluate our model on diverse datasets: a multi-agent sports dataset, the Human3.6M dataset, and datasets based on continuous control tasks from the DeepMind Control Suite. The spatially structured representation outperforms unstructured representations on a range of motion-related tasks such as object tracking, action recognition and reward prediction.
updated: Mon Mar 02 2020 17:32:13 GMT+0000 (UTC)
published: Wed Jun 19 2019 02:56:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト