arXiv reaDer
Earthformer: 地球システム予測のための時空間トランスフォーマーの探索
Earthformer: Exploring Space-Time Transformers for Earth System Forecasting
従来、地球システム (天気や気候など) の予測は、複雑な物理モデルを使用した数値シミュレーションに依存しているため、計算コストが高く、ドメインの専門知識が必要でした。過去 10 年間の時空間地球観測データの爆発的な増加に伴い、ディープ ラーニング (DL) を適用するデータ駆動型モデルは、さまざまな地球システム予測タスクの大きな可能性を示しています。新たな DL アーキテクチャとしての Transformer は、他のドメインで広く成功しているにもかかわらず、この分野での採用は限られています。この論文では、地球システム予測のための時空間トランスフォーマーである Earthformer を提案します。 Earthformer は、Cuboid Attention という名前の汎用的で柔軟かつ効率的な時空間アテンション ブロックに基づいています。アイデアは、データを立方体に分解し、立方体レベルの自己注意を並行して適用することです。これらの直方体は、グローバル ベクトルのコレクションにさらに接続されます。私たちは、MovingMNIST データセットと新たに提案されたカオス N 体 MNIST データセットに対して実験を行い、立方体注意の有効性を検証し、Earthformer の最適な設計を見つけ出します。降水ナウキャスティングとエルニーニョ/南方振動 (ENSO) 予測に関する 2 つの現実世界のベンチマークに関する実験では、Earthformer が最先端のパフォーマンスを達成していることを示しています。コードは https://github.com/amazon-science/earth-forecasting-transformer で入手できます。
Conventionally, Earth system (e.g., weather and climate) forecasting relies on numerical simulation with complex physical models and are hence both expensive in computation and demanding on domain expertise. With the explosive growth of the spatiotemporal Earth observation data in the past decade, data-driven models that apply Deep Learning (DL) are demonstrating impressive potential for various Earth system forecasting tasks. The Transformer as an emerging DL architecture, despite its broad success in other domains, has limited adoption in this area. In this paper, we propose Earthformer, a space-time Transformer for Earth system forecasting. Earthformer is based on a generic, flexible and efficient space-time attention block, named Cuboid Attention. The idea is to decompose the data into cuboids and apply cuboid-level self-attention in parallel. These cuboids are further connected with a collection of global vectors. We conduct experiments on the MovingMNIST dataset and a newly proposed chaotic N-body MNIST dataset to verify the effectiveness of cuboid attention and figure out the best design of Earthformer. Experiments on two real-world benchmarks about precipitation nowcasting and El Nino/Southern Oscillation (ENSO) forecasting show Earthformer achieves state-of-the-art performance. Code is available: https://github.com/amazon-science/earth-forecasting-transformer .
updated: Wed Mar 01 2023 04:40:21 GMT+0000 (UTC)
published: Tue Jul 12 2022 20:52:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト