マスク オートエンコーダ (MAE) は、人間の介入なしでニューラル ネットワークの表現学習を強化する、有望な自己教師あり事前トレーニング手法として登場しました。 MAE を体積医療画像に適用するには、既存の方法には 2 つの課題があります。1 つは、全体的なデータの臨床状況を理解するために不可欠なグローバル情報が欠如していることです。第二に、ランダムにマスクされた入力から学習した表現を安定させる保証はありませんでした。これらの制限に対処するために、私たちは、シンプルかつ効果的な自己監視型事前トレーニング戦略である Global-Local Masked AutoEncoder (GL-MAE) を提案しました。 GL-MAE は、マスクされたグローバル ボリュームとマスクされたローカル ボリュームの両方を再構築し、グローバル コンテキストだけでなく重要なローカルの詳細を学習できるようにします。さらに、マスクされたボリュームの表現学習を強化し安定させるために、グローバルガイド付き一貫性学習を介したグローバル間の一貫性とローカルからグローバルの対応を導入しました。複数のデータセットに対する微調整の結果は、他の最先端の自己教師ありアルゴリズムに対するこの手法の優位性を示しており、アノテーションが不足している場合でも、多用途の体積医療画像セグメンテーションタスクでその有効性を実証しています。コードとモデルは承認され次第リリースされます。
Masked autoencoder (MAE) has emerged as a promising self-supervised pretraining technique to enhance the representation learning of a neural network without human intervention. To adapt MAE onto volumetric medical images, existing methods exhibit two challenges: first, the global information crucial for understanding the clinical context of the holistic data is lacked; second, there was no guarantee of stabilizing the representations learned from the randomly masked inputs. To tackle these limitations, we proposed Global-Local Masked AutoEncoder (GL-MAE), a simple yet effective self-supervised pre-training strategy. GL-MAE reconstructs both the masked global and masked local volumes, which enables learning the essential local details as well as the global context. We further introduced global-to-global consistency and local-to-global correspondence via global-guided consistency learning to enhance and stabilize the representation learning of the masked volumes. Finetuning results on multiple datasets illustrate the superiority of our method over other state-of-the-art self-supervised algorithms, demonstrating its effectiveness on versatile volumetric medical image segmentation tasks, even when annotations are scarce. Codes and models will be released upon acceptance.