arXiv reaDer
Taylor saves for later: disentanglement for video prediction using Taylor representation
ビデオ予測は、気象学およびロボットシステムにおける幅広いアプリケーションの見通しを伴う挑戦的なタスクです。既存の作品は、短期および長期の予測パフォーマンスをトレードオフし、ビデオフレームで堅牢な潜在ダイナミクスの法則を抽出することができません。新規の反復予測モジュール(TaylorCell)と残余モジュールによって、ビデオフレームのテイラー特徴と残余特徴を解きほぐすために、2分岐のseq-to-seqディープモデルを提案します。 TaylorCellは、ビデオフレームの高次元の特徴を有限のテイラー級数に拡張して、潜在的な法則を記述することができます。 TaylorCellでは、テイラー予測ユニット(TPU)とメモリ補正ユニット(MCU)を提案しています。 TPUは、最初の入力フレームの派生情報を使用して将来のフレームを予測し、エラーの蓄積を回避します。 MCUは、過去のすべてのフレームの情報を抽出して、TPUから予測されたテイラー機能を修正します。同様に、残余モジュールは、テイラー特徴を補完する残余特徴を抽出します。 3つのジェネラリストデータセット(Moving MNIST、TaxiBJ、Human 3.6)で、モデルは最先端のモデルよりも優れているか到達しており、アブレーション実験は長期予測におけるモデルの有効性を示しています。
Video prediction is a challenging task with wide application prospects in meteorology and robot systems. Existing works fail to trade off short-term and long-term prediction performances and extract robust latent dynamics laws in video frames. We propose a two-branch seq-to-seq deep model to disentangle the Taylor feature and the residual feature in video frames by a novel recurrent prediction module (TaylorCell) and residual module. TaylorCell can expand the video frames' high-dimensional features into the finite Taylor series to describe the latent laws. In TaylorCell, we propose the Taylor prediction unit (TPU) and the memory correction unit (MCU). TPU employs the first input frame's derivative information to predict the future frames, avoiding error accumulation. MCU distills all past frames' information to correct the predicted Taylor feature from TPU. Correspondingly, the residual module extracts the residual feature complementary to the Taylor feature. On three generalist datasets (Moving MNIST, TaxiBJ, Human 3.6), our model outperforms or reaches state-of-the-art models, and ablation experiments demonstrate the effectiveness of our model in long-term prediction.
updated: Mon May 24 2021 01:59:21 GMT+0000 (UTC)
published: Mon May 24 2021 01:59:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト