歩行者の動きを予測することは、混雑した環境で相互作用する社会認識ロボットを開発するために不可欠です。社会的相互作用設定の自然な視覚的視点は自己中心的な見方ですが、その中での軌道予測に関する既存の研究の大部分は、純粋にトップダウンの軌道空間で調査されてきました。一人称ビューの軌跡予測研究をサポートするために、T2FPV を提示します。これは、現実世界のトップダウンの軌跡データセットが与えられた場合に、忠実度の高い一人称ビュー (FPV) データセットを構築する方法です。 ETH/UCY 歩行者データセットに対するアプローチを紹介し、対話するすべての歩行者の利己的な視覚データを生成し、T2FPV-ETH データセットを作成します。この設定では、不完全な検出と追跡、オクルージョン、およびカメラの視野 (FOV) 制限により、FPV 固有のエラーが発生します。これらのエラーに対処するために、軌道予測アルゴリズムを使用して、欠損データの代入をエンドツーエンドでさらに改善するモジュールである CoFE を提案します。私たちの方法は、そのようなFPVエラーが下流の予測パフォーマンスに与える影響を減らし、変位エラーを平均で10%以上減らします。研究への関与を促進するために、T2FPV-ETH データセットとソフトウェア ツールをリリースします。
Predicting pedestrian motion is essential for developing socially-aware robots that interact in a crowded environment. While the natural visual perspective for a social interaction setting is an egocentric view, the majority of existing work in trajectory prediction therein has been investigated purely in the top-down trajectory space. To support first-person view trajectory prediction research, we present T2FPV, a method for constructing high-fidelity first-person view (FPV) datasets given a real-world, top-down trajectory dataset; we showcase our approach on the ETH/UCY pedestrian dataset to generate the egocentric visual data of all interacting pedestrians, creating the T2FPV-ETH dataset. In this setting, FPV-specific errors arise due to imperfect detection and tracking, occlusions, and field-of-view (FOV) limitations of the camera. To address these errors, we propose CoFE, a module that further refines the imputation of missing data in an end-to-end manner with trajectory forecasting algorithms. Our method reduces the impact of such FPV errors on downstream prediction performance, decreasing displacement error by more than 10% on average. To facilitate research engagement, we release our T2FPV-ETH dataset and software tools.