arXiv reaDer
Attention-based Multi-scale Gated Recurrent Encoder with Novel Correlation Loss for COVID-19 Progression Prediction
COVID-19画像分析は、主に、疾患の発症または入院時に取得された単一の時点のスキャンを使用した診断タスクに焦点を合わせてきました。 COVID-19患者の連続胸部X線写真(CXR)から肺浸潤の進行を予測するための深層学習ベースのアプローチを提示します。私たちの方法は、最初に畳み込みニューラルネットワーク(CNN)を利用して、関係する肺ゾーン内のパッチから、また隣接およびリモートの境界領域から特徴を抽出します。このフレームワークには、効果的な予測のための相関モジュールを備えたマルチスケールゲート付き回帰ユニット(GRU)がさらに組み込まれています。 GRUは、3つの異なる領域からのCNN特徴ベクトルを入力として受け入れ、融合表現を生成します。相関モジュールは、関係する領域と遠隔領域からの同じものの間の損失を最大化しながら、関係する領域と隣接する領域の特徴ベクトルの隠された表現の間の相関損失を最小化しようとします。さらに、コンテキストベクトルを生成するために、各エンコーダー時点の出力非表示状態に対してアテンションモジュールを使用します。このベクトルは、将来の時点でパッチの重大度を予測するためのデコーダーモジュールへの入力として使用されます。最後に、パッチ分類スコアをアンサンブルして、患者ごとのグレードを計算します。具体的には、私たちのフレームワークは、以前の一時的なCXRから表現を学習することにより、特定の日の患者のゾーンごとの疾患の重症度を予測します。私たちの新しい多施設データセットは、N = 93人の患者からの連続CXRスキャンで構成されています。私たちのアプローチは、このデータセットでの転移学習およびラジオミック機能ベースのベースラインアプローチよりも優れています。
COVID-19 image analysis has mostly focused on diagnostic tasks using single timepoint scans acquired upon disease presentation or admission. We present a deep learning-based approach to predict lung infiltrate progression from serial chest radiographs (CXRs) of COVID-19 patients. Our method first utilizes convolutional neural networks (CNNs) for feature extraction from patches within the concerned lung zone, and also from neighboring and remote boundary regions. The framework further incorporates a multi-scale Gated Recurrent Unit (GRU) with a correlation module for effective predictions. The GRU accepts CNN feature vectors from three different areas as input and generates a fused representation. The correlation module attempts to minimize the correlation loss between hidden representations of concerned and neighboring area feature vectors, while maximizing the loss between the same from concerned and remote regions. Further, we employ an attention module over the output hidden states of each encoder timepoint to generate a context vector. This vector is used as an input to a decoder module to predict patch severity grades at a future timepoint. Finally, we ensemble the patch classification scores to calculate patient-wise grades. Specifically, our framework predicts zone-wise disease severity for a patient on a given day by learning representations from the previous temporal CXRs. Our novel multi-institutional dataset comprises sequential CXR scans from N=93 patients. Our approach outperforms transfer learning and radiomic feature-based baseline approaches on this dataset.
updated: Sun Jul 18 2021 00:37:55 GMT+0000 (UTC)
published: Sun Jul 18 2021 00:37:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト