ギガピクセル画像のモデリングという特殊な状況を考慮すると、マルチ インスタンス学習 (MIL) は、スライド画像全体 (WSI) 分類にとって最も重要なフレームワークの 1 つになりました。現在の実践では、ほとんどの MIL ネットワークは、トレーニング中に 2 つの避けられない問題に直面することがよくあります。i) WSI データが不十分であり、ii) ニューラル ネットワークに固有のデータ記憶の性質です。これらの問題は、MIL モデルの適切かつ効率的なトレーニングを妨げ、WSI での分類モデルの継続的なパフォーマンス向上を抑制する可能性があります。 Mixup の基本的な考え方に触発されたこの論文では、MIL モデルのトレーニングを改善するための Pseudo-bag Mixup (PseMix) データ拡張スキームを提案します。このスキームは、MIL ベースの WSI 分類に適用できるように、擬似バッグを介して一般的な画像から特殊な WSI への Mixup 戦略を一般化します。擬似バッグと連携して、私たちの PseMix は、Mixup 戦略における重要なサイズ調整とセマンティック調整を実現します。さらに、時間のかかる操作や MIL モデルの予測に依存することなく、MIL に適応する効率的で分離された方法として設計されています。比較実験とアブレーション研究は、PseMix の有効性と利点を評価するために特別に設計されています。テスト結果は、PseMix が WSI 分類における MIL ネットワークのパフォーマンスを向上させることができることを示しています。さらに、MIL モデルの汎化能力を向上させ、オクルージョンやノイズのあるラベルをパッチする堅牢性を促進することもできます。私たちのソースコードは https://github.com/liupei101/PseMix で入手できます。
Given the special situation of modeling gigapixel images, multiple instance learning (MIL) has become one of the most important frameworks for Whole Slide Image (WSI) classification. In current practice, most MIL networks often face two unavoidable problems in training: i) insufficient WSI data, and ii) the data memorization nature inherent in neural networks. These problems may hinder MIL models from adequate and efficient training, suppressing the continuous performance promotion of classification models on WSIs. Inspired by the basic idea of Mixup, this paper proposes a Pseudo-bag Mixup (PseMix) data augmentation scheme to improve the training of MIL models. This scheme generalizes the Mixup strategy for general images to special WSIs via pseudo-bags so as to be applied in MIL-based WSI classification. Cooperated by pseudo-bags, our PseMix fulfills the critical size alignment and semantic alignment in Mixup strategy. Moreover, it is designed as an efficient and decoupled method adaptive to MIL, neither involving time-consuming operations nor relying on MIL model predictions. Comparative experiments and ablation studies are specially designed to evaluate the effectiveness and advantages of our PseMix. Test results show that PseMix could often improve the performance of MIL networks in WSI classification. Besides, it could also boost the generalization capacity of MIL models, and promote their robustness to patch occlusion and noisy labels. Our source code is available at https://github.com/liupei101/PseMix.