ハイパースペクトルイメージング(HSI)は、計算病理学や精密医療など、高精度の病理学画像セグメンテーションに依存するさまざまなアプリケーションに大きな可能性をもたらします。ハイパースペクトル病理画像は、可視スペクトルを超えた豊富で詳細なスペクトル情報の恩恵を受けるため、高精度のハイパースペクトル病理画像セグメンテーションを実現するための鍵は、高次元のスペクトルバンドに沿ってコンテキストを忠実にモデル化することです。トランスフォーマーの強力なコンテキストモデリング機能に触発されて、トランスフォーマーによるシーケンス間の予測手順として、ハイパースペクトル病理画像セグメンテーションのためのスペクトルバンド全体のコンテキスト特徴学習を初めて定式化します。スペクトルコンテキスト学習手順を支援するために、2つの重要な戦略を導入します。(1)スパース性スキームは、冗長バンドからの注意散漫を排除するために、学習されたコンテキスト関係をスパースに強制します。 (2)スペクトル正規化、各スペクトルバンドの個別のグループ正規化は、バンドの不均一な基礎となる分布によって引き起こされる迷惑を軽減します。このメソッドにSpectralTransformer(SpecTr)という名前を付けます。これには、(1)スペクトルバンド間の長距離依存性をモデル化する強力な機能があり、(2)HSIの空間スペクトル機能を共同で探索するという2つの利点があります。実験によると、SpecTrは、事前トレーニングを必要とせずに、ハイパースペクトル病理画像セグメンテーションベンチマークで他の競合する方法よりも優れています。コードはhttps://github.com/hfut-xc-yun/SpecTrで入手できます。
Hyperspectral imaging (HSI) unlocks the huge potential to a wide variety of applications relied on high-precision pathology image segmentation, such as computational pathology and precision medicine. Since hyperspectral pathology images benefit from the rich and detailed spectral information even beyond the visible spectrum, the key to achieve high-precision hyperspectral pathology image segmentation is to felicitously model the context along high-dimensional spectral bands. Inspired by the strong context modeling ability of transformers, we hereby, for the first time, formulate the contextual feature learning across spectral bands for hyperspectral pathology image segmentation as a sequence-to-sequence prediction procedure by transformers. To assist spectral context learning procedure, we introduce two important strategies: (1) a sparsity scheme enforces the learned contextual relationship to be sparse, so as to eliminates the distraction from the redundant bands; (2) a spectral normalization, a separate group normalization for each spectral band, mitigates the nuisance caused by heterogeneous underlying distributions of bands. We name our method Spectral Transformer (SpecTr), which enjoys two benefits: (1) it has a strong ability to model long-range dependency among spectral bands, and (2) it jointly explores the spatial-spectral features of HSI. Experiments show that SpecTr outperforms other competing methods in a hyperspectral pathology image segmentation benchmark without the need of pre-training. Code is available at https://github.com/hfut-xc-yun/SpecTr.