ディープラーニングは最近、軌道予測において大きな進歩を遂げました。ただし、軌道データが不足しているため、データを大量に消費する深層学習モデルは適切な表現を学習できません。コンピュータビジョンと自然言語処理には成熟した表現学習手法が存在しますが、これらの事前トレーニング手法には大規模なデータが必要です。適切な軌道データ(たとえば、nuScenesデータセットの34Kサンプル)がないため、軌道予測でこれらのアプローチを再現することは困難です。軌道データの不足を回避するために、軌道に密接に関連する別のデータモダリティであるHDマップを使用します。これは、既存のデータセットで豊富に提供されています。本論文では、軌道と軌道予測のための地図を接続することによる自己監視事前訓練スキームであるPreTraMを提案する。具体的には、PreTraMは2つの部分で構成されます。1)軌道とマップをクロスモーダル対照学習で共有埋め込み空間に投影する軌道-マップ対照学習、および2)対照学習でマップ表現を強化するマップ対照学習大量のHDマップ。 AgentFormerやTrajectron++などの一般的なベースラインに加えて、PreTraMは、困難なnuScenesデータセットのFDE-10でパフォーマンスを5.5%および6.9%向上させます。 PreTraMがデータ効率を改善し、モデルサイズに合わせて適切にスケーリングすることを示します。
Deep learning has recently achieved significant progress in trajectory forecasting. However, the scarcity of trajectory data inhibits the data-hungry deep-learning models from learning good representations. While mature representation learning methods exist in computer vision and natural language processing, these pre-training methods require large-scale data. It is hard to replicate these approaches in trajectory forecasting due to the lack of adequate trajectory data (e.g., 34K samples in the nuScenes dataset). To work around the scarcity of trajectory data, we resort to another data modality closely related to trajectories-HD-maps, which is abundantly provided in existing datasets. In this paper, we propose PreTraM, a self-supervised pre-training scheme via connecting trajectories and maps for trajectory forecasting. Specifically, PreTraM consists of two parts: 1) Trajectory-Map Contrastive Learning, where we project trajectories and maps to a shared embedding space with cross-modal contrastive learning, and 2) Map Contrastive Learning, where we enhance map representation with contrastive learning on large quantities of HD-maps. On top of popular baselines such as AgentFormer and Trajectron++, PreTraM boosts their performance by 5.5% and 6.9% relatively in FDE-10 on the challenging nuScenes dataset. We show that PreTraM improves data efficiency and scales well with model size.