胃腸(GI)がんの前駆体は、患者のリスク層別化のために頻繁に監視する必要があります。自動セグメンテーション手法は、リスク領域をより正確に評価するのに役立ち、治療手順や除去さえも支援します。臨床診療では、従来の白色光イメージング(WLI)に加えて、狭帯域光観察(NBI)や蛍光イメージングなどの補完的なモダリティが使用されます。今日、ほとんどのセグメンテーションアプローチは監視されており、単一のモダリティデータセットにのみ集中していますが、この作業では、見えないターゲットモダリティに一般化できるターゲットに依存しない教師なしドメイン適応(UDA)手法を利用します。これに関連して、変分オートエンコーダとU-Netを共通のEfficientNet-B4バックボーンと結合し、ターゲットサンプルの潜在空間最適化に結合損失を使用する新しいUDAベースのセグメンテーション方法を提案します。 WLI(ソース)モダリティのみを使用してトレーニングした場合、モデルが目に見えないターゲットNBI(ターゲット)モダリティに一般化できることを示します。上部消化管内視鏡データと下部消化管内視鏡データの両方に関する実験は、ナイーブな教師ありアプローチおよび最先端のUDAセグメンテーション方法と比較したアプローチの有効性を示しています。
Gastrointestinal (GI) cancer precursors require frequent monitoring for risk stratification of patients. Automated segmentation methods can help to assess risk areas more accurately, and assist in therapeutic procedures or even removal. In clinical practice, addition to the conventional white-light imaging (WLI), complimentary modalities such as narrow-band imaging (NBI) and fluorescence imaging are used. While, today most segmentation approaches are supervised and only concentrated on a single modality dataset, this work exploits to use a target-independent unsupervised domain adaptation (UDA) technique that is capable to generalize to an unseen target modality. In this context, we propose a novel UDA-based segmentation method that couples the variational autoencoder and U-Net with a common EfficientNet-B4 backbone, and uses a joint loss for latent-space optimization for target samples. We show that our model can generalize to unseen target NBI (target) modality when trained using only WLI (source) modality. Our experiments on both upper and lower GI endoscopy data show the effectiveness of our approach compared to naive supervised approach and state-of-the-art UDA segmentation methods.