他のエージェントの将来の動作について推論することは、安全なロボットナビゲーションにとって重要です。もっともらしい未来の多様性は、位置、速度、セマンティッククラスなどのデータからのエージェント状態推定に固有の不確実性によってさらに増幅されます。ただし、予測方法は通常、クラスの不確実性を無視し、知覚モデルが完全なクラス分布を返すことが多い場合でも、代わりにエージェントの最も可能性の高いクラスのみを条件とします。この情報を活用するために、エージェントのクラス確率を明示的に組み込んだ異種エージェントの軌道予測の方法であるHAICUを紹介します。さらに、予測における知覚の不確実性の影響を調査するために、新しい挑戦的な現実世界の自動運転データセットであるPUPを紹介します。これには、現在の最先端の知覚システムのロングテールを反映する、フィルタリングされていないエージェントクラスの確率を持つ挑戦的な混雑したシーンが含まれています。軌道予測にクラス確率を組み込むと、不確実性に直面した場合のパフォーマンスが大幅に向上し、反事実的予測などの新しい予測機能が可能になることを示します。
Reasoning about the future behavior of other agents is critical to safe robot navigation. The multiplicity of plausible futures is further amplified by the uncertainty inherent to agent state estimation from data, including positions, velocities, and semantic class. Forecasting methods, however, typically neglect class uncertainty, conditioning instead only on the agent's most likely class, even though perception models often return full class distributions. To exploit this information, we present HAICU, a method for heterogeneous-agent trajectory forecasting that explicitly incorporates agents' class probabilities. We additionally present PUP, a new challenging real-world autonomous driving dataset, to investigate the impact of Perceptual Uncertainty in Prediction. It contains challenging crowded scenes with unfiltered agent class probabilities that reflect the long-tail of current state-of-the-art perception systems. We demonstrate that incorporating class probabilities in trajectory forecasting significantly improves performance in the face of uncertainty, and enables new forecasting capabilities such as counterfactual predictions.