デジタル病理学では、通常、WSI (Whole Slide Image) 分析は複数インスタンス学習 (MIL) 問題として定式化されます。 WSI 分類には変換器ベースのアーキテクチャが使用されてきましたが、これらの方法は、このタイプの画像データの特定の課題に適応させるために修正が必要です。ドメイン全体での力にもかかわらず、古典的なコンピューター ビジョン (CV) および自然言語処理 (NLP) タスクの参照変換モデルは、病理スライド分析には使用されません。この作業では、WSI 分類への適用における、標準の、凍結された、テキストで事前トレーニングされた変換言語モデルの使用を示します。各 WSI をインスタンスの固定された短いサイズのシーケンスに要約するための、マルチヘッドの注意ベースのシーケンス削減入力レイヤーである SeqShort を提案します。これにより、長いシーケンスで自己注意の計算コストを削減し、他の MIL アプローチでは利用できない位置情報を含めることができます。 WSI 固有のトランスフォーマーを設計したり、ドメイン内の自己教師付き事前トレーニングを実行したりする必要がなく、計算予算とトレーニング可能なパラメーターの数を削減しながら、がんのサブタイプ分類のタスクにおけるメソッドの有効性を実証します。
In digital pathology, Whole Slide Image (WSI) analysis is usually formulated as a Multiple Instance Learning (MIL) problem. Although transformer-based architectures have been used for WSI classification, these methods require modifications to adapt them to specific challenges of this type of image data. Despite their power across domains, reference transformer models in classical Computer Vision (CV) and Natural Language Processing (NLP) tasks are not used for pathology slide analysis. In this work we demonstrate the use of standard, frozen, text-pretrained, transformer language models in application to WSI classification. We propose SeqShort, a multi-head attention-based sequence reduction input layer to summarize each WSI in a fixed and short size sequence of instances. This allows us to reduce the computational costs of self-attention on long sequences, and to include positional information that is unavailable in other MIL approaches. We demonstrate the effectiveness of our methods in the task of cancer subtype classification, without the need of designing a WSI-specific transformer or performing in-domain self-supervised pretraining, while keeping a reduced compute budget and number of trainable parameters.