データ収集技術の最近の開発により、3Dテクスチャメッシュをすばやく収集できます。これらは、都市環境を理解して分析するのに役立ち、その結果、空間分析や都市計画などのいくつかのアプリケーションに役立ちます。ディープラーニング手法によるテクスチャメッシュのセマンティックセグメンテーションは、この理解を深めることができますが、多くのラベル付きデータが必要です。このホワイトペーパーでは、セマンティックアーバンメッシュの新しいベンチマークデータセット、新しい半自動アノテーションフレームワーク、および3Dメッシュ用のオープンソースアノテーションツールを紹介します。特に、私たちのデータセットはヘルシンキ(フィンランド)の約4 km2をカバーし、6つのクラスがあり、初期セグメンテーションとインタラクティブな改良を含むアノテーションフレームワークを使用して、約600時間のラベル付け作業を節約できると見積もっています。さらに、注釈付きデータセットに対するいくつかの代表的な3Dセマンティックセグメンテーションメソッドのパフォーマンスを比較します。結果は、最初のセグメンテーションが他の方法よりも優れており、他の深層学習方法と比較して、より少ないトレーニング時間で93.0%の全体的な精度と66.2%のmIoUを達成していることを示しています。また、入力トレーニングデータの効果を評価します。これは、KPConvが少なくとも33%(約1.0 km2をカバー)を必要とするのに対し、私たちの方法は約7%(約0.23 km2をカバー)で堅牢で適切な結果に近づくことを示しています。
Recent developments in data acquisition technology allow us to collect 3D texture meshes quickly. Those can help us understand and analyse the urban environment, and as a consequence are useful for several applications like spatial analysis and urban planning. Semantic segmentation of texture meshes through deep learning methods can enhance this understanding, but it requires a lot of labelled data. This paper introduces a new benchmark dataset of semantic urban meshes, a novel semi-automatic annotation framework, and an open-source annotation tool for 3D meshes. In particular, our dataset covers about 4 km2 in Helsinki (Finland), with six classes, and we estimate that we save about 600 hours of labelling work using our annotation framework, which includes initial segmentation and interactive refinement. Furthermore, we compare the performance of several representative 3D semantic segmentation methods on our annotated dataset. The results show our initial segmentation outperforms other methods and achieves an overall accuracy of 93.0% and mIoU of 66.2% with less training time compared to other deep learning methods. We also evaluate the effect of the input training data, which shows that our method only requires about 7% (which covers about 0.23 km2) to approach robust and adequate results whereas KPConv needs at least 33% (which covers about 1.0 km2).