arXiv reaDer
Synfeal: エンドツーエンドのカメラ位置特定のためのデータ駆動型シミュレーター
Synfeal: A Data-Driven Simulator for End-to-End Camera Localization
現実世界のデータの収集は、人工知能のボトルネックであると考えられており、いくつかの分野で研究の進歩を遅らせていますが、その 1 つがカメラの位置特定です。エンドツーエンドのカメラ位置特定手法は依然として従来の手法よりも性能が優れており、データ収集手法に関連する矛盾がエンドツーエンド手法の可能性を抑制していると我々は主張しています。最近のデータ中心のパラダイムに触発され、現実世界の現実的な 3D 再構成に基づいて大規模な位置特定データセットを合成するフレームワークを提案します。 Synfeal: Synthetic from Real と呼ばれる私たちのフレームワークは、対応するグラウンドトゥルース カメラのポーズを収集しながら、現実的な 3D テクスチャ メッシュを通して仮想カメラを移動させることによって RGB 画像を合成する、オープンソースのデータ駆動型シミュレータです。この結果は、Synfeal によって生成されたデータセットに対するカメラ位置推定アルゴリズムのトレーニングが、最先端の方法によって生成されたデータセットと比較してより良い結果につながることを検証しました。 Synfeal を使用して、データセットのサイズとカメラ位置推定アルゴリズムのパフォーマンスの関係の最初の分析を実行しました。結果は、データセットのサイズに応じてパフォーマンスが大幅に向上することを示しています。また、私たちの結果は、高品質の大規模なローカリゼーション データセットが利用可能な場合、最初からトレーニングした方がパフォーマンスが向上することを示唆しています。 Synfeal は https://github.com/DanielCoelho112/synfeal で公開されています。
Collecting real-world data is often considered the bottleneck of Artificial Intelligence, stalling the research progress in several fields, one of which is camera localization. End-to-end camera localization methods are still outperformed by traditional methods, and we argue that the inconsistencies associated with the data collection techniques are restraining the potential of end-to-end methods. Inspired by the recent data-centric paradigm, we propose a framework that synthesizes large localization datasets based on realistic 3D reconstructions of the real world. Our framework, termed Synfeal: Synthetic from Real, is an open-source, data-driven simulator that synthesizes RGB images by moving a virtual camera through a realistic 3D textured mesh, while collecting the corresponding ground-truth camera poses. The results validate that the training of camera localization algorithms on datasets generated by Synfeal leads to better results when compared to datasets generated by state-of-the-art methods. Using Synfeal, we conducted the first analysis of the relationship between the size of the dataset and the performance of camera localization algorithms. Results show that the performance significantly increases with the dataset size. Our results also suggest that when a large localization dataset with high quality is available, training from scratch leads to better performances. Synfeal is publicly available at https://github.com/DanielCoelho112/synfeal.
updated: Mon May 29 2023 17:29:02 GMT+0000 (UTC)
published: Mon May 29 2023 17:29:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト