畳み込みニューラル ネットワーク (CNN) とその後のビジョン トランスフォーマー (ViT) の出現以来、モデル開発の共通パラダイムは常に、さまざまなパラメーター/ハイパーパラメーターを持つ同一のブロック タイプのセットを使用してきました。さまざまなアーキテクチャ設計 (CNN や ViT など) の利点を活用するために、構造的に異なるタイプのブロックを交互に使用して新しいアーキテクチャを生成し、レゴ ブロックを組み立てる方法を模倣することを提案します。 2 つの CNN ベースのブロックと 1 つの SwinViT ベースのブロックを使用して、医療画像におけるセグメンテーション タスクにブロック代替の新しい概念を適用する、いわゆる LegoNet の 3 つのバリエーションを調査します。また、これまで調査されていなかった新しい臨床問題、すなわち右内胸動脈(RIMA)と、主要な心血管転帰の予後価値を実証しているコンピュータ断層撮影血管造影法(CTA)による血管周囲空間のセグメンテーションについても研究しています。 2 つの大規模なデータセットを使用して、モデルのパフォーマンスを一般的な CNN および ViT アーキテクチャと比較します (たとえば、より大きなデータセットで 0.749 のダイス類似係数 (DSC) を達成)。 3 つの外部試験コホートでもモデルのパフォーマンスを評価します。このコホートでは、専門の臨床医がモデルのセグメント化された結果に修正を加えました (3 つのコホートで DSC > 0.90)。提案したモデルの臨床使用への適合性を評価するために、観察者内および観察者間の変動分析を実行します。最後に、共同自己教師あり学習アプローチを調査して、モデルのパフォーマンスへの影響を評価します。コードと事前トレーニングされたモデルの重みは、承認され次第利用可能になります。
Since the emergence of convolutional neural networks (CNNs), and later vision transformers (ViTs), the common paradigm for model development has always been using a set of identical block types with varying parameters/hyper-parameters. To leverage the benefits of different architectural designs (e.g. CNNs and ViTs), we propose to alternate structurally different types of blocks to generate a new architecture, mimicking how Lego blocks can be assembled together. Using two CNN-based and one SwinViT-based blocks, we investigate three variations to the so-called LegoNet that applies the new concept of block alternation for the segmentation task in medical imaging. We also study a new clinical problem which has not been investigated before, namely the right internal mammary artery (RIMA) and perivascular space segmentation from computed tomography angiography (CTA) which has demonstrated a prognostic value to major cardiovascular outcomes. We compare the model performance against popular CNN and ViT architectures using two large datasets (e.g. achieving 0.749 dice similarity coefficient (DSC) on the larger dataset). We evaluate the performance of the model on three external testing cohorts as well, where an expert clinician made corrections to the model segmented results (DSC>0.90 for the three cohorts). To assess our proposed model for suitability in clinical use, we perform intra- and inter-observer variability analysis. Finally, we investigate a joint self-supervised learning approach to assess its impact on model performance. The code and the pretrained model weights will be available upon acceptance.