HoliCityは、豊富な構造情報を持つ都市規模の3Dデータセットです。現在、このデータセットには、解像度が13312×6656の6,300の実世界のパノラマがあり、20 km ^ 2を超えるロンドンのダウンタウンのCADモデルと正確に位置合わせされており、平均画像の位置合わせの中央値再投影エラー半分未満です。このデータセットは、街のCADモデル(コーナー、ライン、ワイヤーフレーム、平面、直方体など)から導き出せる、抽象化された高レベルのホリスティック3D構造を学習するためのオールインワンデータプラットフォームを目指し、究極の目標を達成します。都市規模の再構築、ローカリゼーション、マッピング、拡張現実を含む実際のアプリケーションをサポートします。以前のLiDARベースのデータセットから抽出された表面法線はノイズが多いことが多いため、3D CADモデルとパノラマの正確な配置は、表面法線推定などの低レベル3Dビジョンタスクにも役立ちます。表面セグメンテーション、法線マップ、深度マップ、消失点の予測など、HoliCityのアプリケーションを実証する実験を行うとともに、HoliCityおよびその他の関連データセットでトレーニングされたメソッドの一般化可能性をテストします。 HoliCityはhttps://holicity.ioで入手できます。
We present HoliCity, a city-scale 3D dataset with rich structural information. Currently, this dataset has 6,300 real-world panoramas of resolution 13312 ×6656 that are accurately aligned with the CAD model of downtown London with an area of more than 20 km^2, in which the median reprojection error of the alignment of an average image is less than half a degree. This dataset aims to be an all-in-one data platform for research of learning abstracted high-level holistic 3D structures that can be derived from city CAD models, e.g., corners, lines, wireframes, planes, and cuboids, with the ultimate goal of supporting real-world applications including city-scale reconstruction, localization, mapping, and augmented reality. The accurate alignment of the 3D CAD models and panoramas also benefits low-level 3D vision tasks such as surface normal estimation, as the surface normal extracted from previous LiDAR-based datasets is often noisy. We conduct experiments to demonstrate the applications of HoliCity, such as predicting surface segmentation, normal maps, depth maps, and vanishing points, as well as test the generalizability of methods trained on HoliCity and other related datasets. HoliCity is available at https://holicity.io.