現実的な交通シーンを自動的に生成する問題を検討します。既存の方法は通常、手作りのヒューリスティックのセットに従って俳優をシーンに挿入し、実際の交通シーンの真の複雑さと多様性をモデル化する能力に制限があるため、合成された交通シーンと実際の交通シーンの間にコンテンツギャップが生じます。その結果、既存のシミュレーターは、自動運転車のトレーニングとテストに必要な忠実度を欠いています。この制限に対処するために、ルールとヒューリスティックの必要性を回避する交通シーンのニューラル自己回帰モデルであるSceneGenを紹介します。特に、自我車両の状態と周辺地域の高解像度マップを考慮して、SceneGenはさまざまなクラスのアクターをシーンに挿入し、それらのサイズ、方向、および速度を合成します。 2つの大規模なデータセットで、実際の交通シーンの分布を忠実にモデル化するSceneGenの機能を示します。さらに、SceneGenをセンサーシミュレーションと組み合わせて使用して、現実世界に一般化する知覚モデルをトレーニングできることを示します。
We consider the problem of generating realistic traffic scenes automatically. Existing methods typically insert actors into the scene according to a set of hand-crafted heuristics and are limited in their ability to model the true complexity and diversity of real traffic scenes, thus inducing a content gap between synthesized traffic scenes versus real ones. As a result, existing simulators lack the fidelity necessary to train and test self-driving vehicles. To address this limitation, we present SceneGen, a neural autoregressive model of traffic scenes that eschews the need for rules and heuristics. In particular, given the ego-vehicle state and a high definition map of surrounding area, SceneGen inserts actors of various classes into the scene and synthesizes their sizes, orientations, and velocities. We demonstrate on two large-scale datasets SceneGen's ability to faithfully model distributions of real traffic scenes. Moreover, we show that SceneGen coupled with sensor simulation can be used to train perception models that generalize to the real world.