深い畳み込みニューラルネットワークの開発により、医療画像のセグメンテーションは、近年、一連のブレークスルーを達成しました。ただし、高性能の畳み込みニューラルネットワークは、常に多数のパラメーターと高価な計算コストを意味し、臨床シナリオでのアプリケーションの妨げになります。一方、大規模な注釈付き医用画像データセットの不足は、高性能ネットワークの適用をさらに妨げています。これらの問題に取り組むために、我々は、ネットワーク効率と注釈効率の両方の医療画像セグメンテーションのためにクロスレイヤーグラフフロー知識を活用するための、新しい包括的な知識蒸留法であるグラフフローを提案します。具体的には、グラフフロー蒸留は、異なるレイヤー間のチャネルごとの顕著性フィーチャのフローを測定するために使用される変動グラフを作成します。次に、変動グラフに含まれる知識は、十分に訓練された面倒な教師ネットワークから、訓練されていないコンパクトな学生ネットワークに転送されます。さらに、教師なし言い換えモジュールは、教師ネットワークの知識を洗練するように設計されており、トレーニング手順の安定化にも役立ちます。さらに、敵対的蒸留とバニラロジット蒸留を統合することにより、統一された蒸留フレームワークを構築します。これにより、それぞれ最終的なパフォーマンスをさらに向上させることができます。その結果、胃がんセグメンテーションデータセットとシナプス多臓器セグメンテーションデータセットで実施された広範な実験は、これらの異なるモダリティとマルチカテゴリの医療画像データセットで最先端のパフォーマンスを達成する私たちの方法の卓越した能力を示しています。さらに、デュアル効率の医療画像セグメンテーションのための新しい半教師ありパラダイムを通じて、グラフフローの有効性を示します。
With the development of deep convolutional neural networks, medical image segmentation has achieved a series of breakthroughs in recent years. However, the higher-performance convolutional neural networks always mean numerous parameters and expensive computation costs, which will hinder the applications in clinical scenarios. Meanwhile, the scarceness of large-scale annotated medical image datasets further impedes the application of high-performance networks. To tackle these problems, we propose Graph Flow, a novel comprehensive knowledge distillation method, to exploit the cross-layer graph flow knowledge for both network-efficient and annotation-efficient medical image segmentation. Specifically, our Graph Flow Distillation constructs a variation graph which is employed to measure the flow of channel-wise salience features between different layers. Next, the knowledge included in the variation graph is transferred from a well-trained cumbersome teacher network to a non-trained compact student network. In addition, an unsupervised Paraphraser Module is designed to refine the knowledge of the teacher network, which is also beneficial for the stabilization of training procedure. Furthermore, we build a unified distillation framework by integrating the adversarial distillation and the vanilla logits distillation, which can further promote the final performance respectively. As a result, extensive experiments conducted on Gastric Cancer Segmentation Dataset and Synapse Multi-organ Segmentation Dataset demonstrate the prominent ability of our method which achieves state-of-the-art performance on these different-modality and multi-category medical image datasets. Moreover, we demonstrate the effectiveness of our Graph Flow through a new semi-supervised paradigm for dual-efficient medical image segmentation.