内視鏡検査は、結腸がんの早期診断のための貴重なツールです。ただし、内視鏡医の専門知識が必要であり、時間のかかるプロセスです。この作業では、内視鏡画像分類の学習アプローチ (ローカル ビューとグローバル ビュー) の 2 つの側面を考慮した新しいマルチラベル分類法を提案します。このモデルは、Swin トランスフォーマー ブランチと、CNN ブランチとして修正された VGG16 モデルで構成されています。 CNN ブランチの学習プロセスを支援するために、モデルは顕著性マップと内視鏡画像を採用し、それらを連結します。結果は、画像の局所的および全体的な特徴を利用することにより、この方法が内視鏡医療画像に対してうまく機能することを示しています。さらに、定量的評価は、最先端の作品に対する提案された方法の優位性を証明しています。
Endoscopy is a valuable tool for the early diagnosis of colon cancer. However, it requires the expertise of endoscopists and is a time-consuming process. In this work, we propose a new multi-label classification method, which considers two aspects of learning approaches (local and global views) for endoscopic image classification. The model consists of a Swin transformer branch and a modified VGG16 model as a CNN branch. To help the learning process of the CNN branch, the model employs saliency maps and endoscopy images and concatenates them. The results demonstrate that this method performed well for endoscopic medical images by utilizing local and global features of the images. Furthermore, quantitative evaluations prove the proposed method's superiority over state-of-the-art works.