高解像度ハイパースペクトル画像(HSI)には、さまざまなスペクトルバンドの各ピクセルの応答が含まれており、複雑なシーンのさまざまなオブジェクトを効果的に区別するために使用できます。 HSIカメラは低コストになっていますが、それに基づくアルゴリズムは十分に活用されていません。この論文では、HSIを介した都市景観における弱教師ありセマンティックセグメンテーションという新しいトピックに焦点を当てます。これは、都市のシーンの高解像度HSIには豊富なスペクトル情報が含まれているという考えに基づいており、手動でラベル付けしなくてもセマンティクスに簡単に関連付けることができます。したがって、複雑なシーンで低コストで信頼性の高いセマンティックセグメンテーションが可能になります。具体的には、この論文では、HSIを理論的に分析し、スペクトル情報を利用して粗いラベルをより細かく改善する、弱教師ありHSIセマンティックセグメンテーションフレームワークを紹介します。実験結果は、我々の方法が非常に競争力のあるラベルを得ることができ、いくつかのクラスで人工の細かいラベルよりも高いエッジの細かさを持っていることを示しています。同時に、結果は、洗練されたラベルがセマンティックセグメンテーションの効果を効果的に改善できることも示しています。 HSIとセマンティックセグメンテーションの組み合わせは、HSIが高レベルの視覚的タスクにおいて大きな可能性を秘めていることを証明しています。
High-resolution hyperspectral images (HSIs) contain the response of each pixel in different spectral bands, which can be used to effectively distinguish various objects in complex scenes. While HSI cameras have become low cost, algorithms based on it have not been well exploited. In this paper, we focus on a novel topic, weakly-supervised semantic segmentation in cityscape via HSIs. It is based on the idea that high-resolution HSIs in city scenes contain rich spectral information, which can be easily associated to semantics without manual labeling. Therefore, it enables low cost, highly reliable semantic segmentation in complex scenes. Specifically, in this paper, we theoretically analyze the HSIs and introduce a weakly-supervised HSI semantic segmentation framework, which utilizes spectral information to improve the coarse labels to a finer degree. The experimental results show that our method can obtain highly competitive labels and even have higher edge fineness than artificial fine labels in some classes. At the same time, the results also show that the refined labels can effectively improve the effect of semantic segmentation. The combination of HSIs and semantic segmentation proves that HSIs have great potential in high-level visual tasks.