セマンティックセグメンテーションのモデルには、大量の手作業でラベル付けされたトレーニングデータが必要であり、作成にはコストと時間がかかります。この目的のために、教師なしの方法でビデオシーケンスのセマンティックピクセルラベルを改善できるラベル融合フレームワークを提示します。環境の3Dメッシュ表現を利用し、セマンティックメッシュテクスチャを使用して、さまざまなフレームの予測を一貫した表現に融合します。元の内因性および外因性カメラパラメータを使用してセマンティックメッシュをレンダリングすると、一連の改善されたセマンティックセグメンテーション画像が生成されます。最適化されたCUDA実装により、不確実性を意識した方法で、cクラスにわたる注釈のc次元確率分布全体を活用できます。 Scannetデータセットでメソッドを評価し、最先端のセグメンテーションネットワークESANetによって生成された注釈を52.05%から58.25%のピクセル精度に改善します。この分野での将来の研究を促進するために、フレームワークのソースコードをオンラインで公開しています(https://github.com/fferflo/semantic-meshes)。私たちの知る限り、これはセマンティックテクスチャを備えたメッシュに基づくセマンティック画像セグメンテーションのための最初の公に利用可能なラベル融合フレームワークです。
Models for semantic segmentation require a large amount of hand-labeled training data which is costly and time-consuming to produce. For this purpose, we present a label fusion framework that is capable of improving semantic pixel labels of video sequences in an unsupervised manner. We make use of a 3D mesh representation of the environment and fuse the predictions of different frames into a consistent representation using semantic mesh textures. Rendering the semantic mesh using the original intrinsic and extrinsic camera parameters yields a set of improved semantic segmentation images. Due to our optimized CUDA implementation, we are able to exploit the entire c-dimensional probability distribution of annotations over c classes in an uncertainty-aware manner. We evaluate our method on the Scannet dataset where we improve annotations produced by the state-of-the-art segmentation network ESANet from 52.05 % to 58.25 % pixel accuracy. We publish the source code of our framework online to foster future research in this area (https://github.com/fferflo/semantic-meshes). To the best of our knowledge, this is the first publicly available label fusion framework for semantic image segmentation based on meshes with semantic textures.