時空間予測学習(ST-PL)は、限られた観測シーケンスを介して後続のフレームを予測することを目的としており、現実の世界で幅広い用途があります。ただし、予測のための代表的な時空間特徴を学習することは困難です。さらに、連続するフレーム間の無秩序な不確実性は、長期予測の難しさを悪化させます。この論文は、以前の状況と現在の状態との間の対応を強化することによって予測品質を改善することに焦点を当てています。詳細コンテキストブロック(DCB)を慎重に設計して、きめ細かい詳細を抽出し、上位コンテキスト状態と現在の入力状態の間の分離された相関関係を改善します。 DCBを標準のConvLSTMと統合し、Motion Details RNN(MoDeRNN)を導入して、きめ細かい時空間特徴をキャプチャし、RNNの潜在状態の表現を改善して重要な品質を実現します。 MNISTと台風のデータセットの移動に関する実験は、提案された方法の有効性を示しています。 MoDeRNNは、既存の最先端技術よりも定性的および定量的に優れており、計算負荷が低くなっています。
Spatiotemporal predictive learning (ST-PL) aims at predicting the subsequent frames via limited observed sequences, and it has broad applications in the real world. However, learning representative spatiotemporal features for prediction is challenging. Moreover, chaotic uncertainty among consecutive frames exacerbates the difficulty in long-term prediction. This paper concentrates on improving prediction quality by enhancing the correspondence between the previous context and the current state. We carefully design Detail Context Block (DCB) to extract fine-grained details and improves the isolated correlation between upper context state and current input state. We integrate DCB with standard ConvLSTM and introduce Motion Details RNN (MoDeRNN) to capture fine-grained spatiotemporal features and improves the expression of latent states of RNNs to achieve significant quality. Experiments on Moving MNIST and Typhoon datasets demonstrate the effectiveness of the proposed method. MoDeRNN outperforms existing state-of-the-art techniques qualitatively and quantitatively with lower computation loads.