時空間予測学習(ST-PL)は、オブジェクトの移動や気象予測など、多数のアプリケーションを備えたホットスポットです。これは、観測されたシーケンスを介して後続のフレームを予測することを目的としています。ただし、連続するフレーム間の固有の不確実性は、長期予測の難しさを悪化させます。予測中のあいまいさの増大に対処するために、CMS-LSTMを設計して、コンテキスト相関とマルチスケールの時空間フローに焦点を当て、2つの精巧な設計ブロック(コンテキスト埋め込み(CE)ブロックと時空間表現(SE)ブロック)を含む、きめ細かいローカルの詳細を示します。 。 CEは豊富なコンテキストの相互作用のために設計されていますが、SEは隠れた状態でのマルチスケールの時空間表現に焦点を当てています。新しく導入されたブロックは、他の時空間モデル(PredRNN、SA-ConvLSTMなど)を容易にして、ST-PLの代表的な暗黙の特徴を生成し、予測品質を向上させます。定性的および定量的実験は、提案された方法の有効性と柔軟性を示しています。パラメータが少ないため、CMS-LSTMは、2つの代表的なベンチマークとシナリオのメトリックの数で最先端の方法よりも優れています。
Spatiotemporal predictive learning (ST-PL) is a hotspot with numerous applications, such as object movement and meteorological prediction. It aims at predicting the subsequent frames via observed sequences. However, inherent uncertainty among consecutive frames exacerbates the difficulty in long-term prediction. To tackle the increasing ambiguity during forecasting, we design CMS-LSTM to focus on context correlations and multi-scale spatiotemporal flow with details on fine-grained locals, containing two elaborate designed blocks: Context Embedding (CE) and Spatiotemporal Expression (SE) blocks. CE is designed for abundant context interactions, while SE focuses on multi-scale spatiotemporal expression in hidden states. The newly introduced blocks also facilitate other spatiotemporal models (e.g., PredRNN, SA-ConvLSTM) to produce representative implicit features for ST-PL and improve prediction quality. Qualitative and quantitative experiments demonstrate the effectiveness and flexibility of our proposed method. With fewer params, CMS-LSTM outperforms state-of-the-art methods in numbers of metrics on two representative benchmarks and scenarios.