時空間シーケンスの予測学習は、視覚的ダイナミクスが構成サブシステムで学習できるモジュール構造を持っていると考えられている歴史的文脈から学習することによって、将来の画像を生成することを目的としています。このホワイトペーパーでは、メモリセルのペアが明示的に分離され、ほぼ独立した遷移方法で動作し、最終的に複雑な環境の統一された表現を形成する新しいリカレントネットワークであるPredRNNを提示することにより、これらの構造をモデル化します。具体的には、LSTMの元のメモリセルに加えて、このネットワークは、すべてのレイヤーにわたってボトムアップとトップダウンの両方向に伝播するジグザグメモリフローを特徴としており、RNNのさまざまなレベルで学習した視覚的ダイナミクスが通信できるようにします。また、メモリデカップリング損失を利用して、メモリセルが冗長機能を学習しないようにします。新しいカリキュラム学習戦略でPredRNNをさらに改善します。これは、予測学習シナリオのほとんどのシーケンス間RNNに一般化できます。各コンポーネントの有効性を検証するために、詳細なアブレーションスタディ、勾配分析、および視覚化を提供します。私たちのアプローチが、3つの標準データセット(合成Moving MNISTデータセット、KTHヒューマンアクションデータセット、および降水量予測用のレーダーエコーデータセット)で非常に競争力のある結果を取得することを示します。
The predictive learning of spatiotemporal sequences aims to generate future images by learning from the historical context, where the visual dynamics are believed to have modular structures that can be learned with compositional subsystems. This paper models these structures by presenting PredRNN, a new recurrent network, in which a pair of memory cells are explicitly decoupled, operate in nearly independent transition manners, and finally form unified representations of the complex environment. Concretely, besides the original memory cell of LSTM, this network is featured by a zigzag memory flow that propagates in both bottom-up and top-down directions across all layers, enabling the learned visual dynamics at different levels of RNNs to communicate. It also leverages a memory decoupling loss to keep the memory cells from learning redundant features. We further improve PredRNN with a new curriculum learning strategy, which can be generalized to most sequence-to-sequence RNNs in predictive learning scenarios. We provide detailed ablation studies, gradient analyses, and visualizations to verify the effectiveness of each component. We show that our approach obtains highly competitive results on three standard datasets: the synthetic Moving MNIST dataset, the KTH human action dataset, and a radar echo dataset for precipitation forecasting.