arXiv reaDer
Learnable Weight Initialization for Volumetric Medical Image Segmentation
ローカルコンボリューションと世界的な注目の利点を組み合わせたハイブリッド体積医療画像セグメンテーション モデルは、最近かなりの注目を集めています。主にアーキテクチャの変更に焦点を当てていますが、既存のハイブリッド アプローチのほとんどは依然として従来のデータに依存しない重み初期化スキームを使用しており、医療データの固有の体積特性を無視しているため、パフォーマンスが制限されています。この問題に対処するために、利用可能な医療トレーニング データを利用して、提案された自己教師付き目標を通じて文脈的および構造的手がかりを効果的に学習する、学習可能な重み初期化アプローチを提案します。私たちのアプローチはあらゆるハイブリッド モデルに簡単に統合でき、外部トレーニング データは必要ありません。多臓器がんおよび肺がんのセグメンテーション タスクに関する実験では、最先端のセグメンテーション パフォーマンスにつながる、私たちのアプローチの有効性が実証されています。私たちが提案したデータ依存の初期化アプローチは、多臓器セグメンテーションタスクで大規模なデータセットを使用して事前訓練されたSwin-UNETRモデルと比較して良好に機能します。私たちのソース コードとモデルは、 で入手できます。
Hybrid volumetric medical image segmentation models, combining the advantages of local convolution and global attention, have recently received considerable attention. While mainly focusing on architectural modifications, most existing hybrid approaches still use conventional data-independent weight initialization schemes which restrict their performance due to ignoring the inherent volumetric nature of the medical data. To address this issue, we propose a learnable weight initialization approach that utilizes the available medical training data to effectively learn the contextual and structural cues via the proposed self-supervised objectives. Our approach is easy to integrate into any hybrid model and requires no external training data. Experiments on multi-organ and lung cancer segmentation tasks demonstrate the effectiveness of our approach, leading to state-of-the-art segmentation performance. Our proposed data-dependent initialization approach performs favorably as compared to the Swin-UNETR model pretrained using large-scale datasets on multi-organ segmentation task. Our source code and models are available at:
updated: Wed Apr 03 2024 14:09:58 GMT+0000 (UTC)
published: Thu Jun 15 2023 17:55:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト