大規模なデータセットが不足しているため、F フォーメーション検出の問題に対するディープ ラーニング アプローチの進歩が妨げられてきました。さらに、この問題に関するほとんどの研究は、画像信号ではなく、オブジェクトの位置と方向の入力センサー信号に依存しています。これに対処するために、F 形成シミュレーション データセット (F2SD) と呼ばれる、F 形成検出用のシミュレートされた画像の新しい大規模なデータセットを開発します。 F2SD には、GTA-5 からシミュレートされた約 60,000 枚の画像が含まれており、バウンディング ボックスと画像の方向情報が含まれているため、さまざまなモデリング アプローチに役立ちます。また、3 次元の位置と方向の情報を記録するのにコストがかかる実用的なシナリオにも近づいています。このような大規模なシミュレートされたデータセットを現実的に保ちながら構築することは困難です。さらに、利用可能な研究では、従来の方法を使用してグループを検出しています。画像からグループを直接検出することはありません。この作業では、(1) 大規模なシミュレーション データセット F2SD と F 形成シミュレーション用のパイプライン、(2) タスクの史上初のエンド ツー エンド ベースライン モデル、およびシミュレーション データセットの実験を提案します。
The lack of large-scale datasets has been impeding the advance of deep learning approaches to the problem of F-formation detection. Moreover, most research works on this problem rely on input sensor signals of object location and orientation rather than image signals. To address this, we develop a new, large-scale dataset of simulated images for F-formation detection, called F-formation Simulation Dataset (F2SD). F2SD contains nearly 60,000 images simulated from GTA-5, with bounding boxes and orientation information on images, making it useful for a wide variety of modelling approaches. It is also closer to practical scenarios, where three-dimensional location and orientation information are costly to record. It is challenging to construct such a large-scale simulated dataset while keeping it realistic. Furthermore, the available research utilizes conventional methods to detect groups. They do not detect groups directly from the image. In this work, we propose (1) a large-scale simulation dataset F2SD and a pipeline for F-formation simulation, (2) a first-ever end-to-end baseline model for the task, and experiments on our simulation dataset.