目的: 畳み込みニューラル ネットワークは、網膜眼底写真に基づいてさまざまな状態や患者の特徴を検出するようにトレーニングできます。そのうちのいくつか (患者の性別など) は、専門家の人間の目には見えません。ここでは、CNN がラベルを正しく予測するメカニズムを明らかにするために、眼底画像の説明可能な分類の方法論を提案します。患者の性別をケーススタディとして使用して、提案された方法論を検証しました。アプローチ: まず、トレーニング、検証、テスト パーティションを含む 4746 枚の眼底画像のセットを使用して、性分類タスクで事前トレーニング済みの CNN を微調整しました。次に、深層学習の説明可能性ツールを利用して、網膜の性差が現れる可能性のある方法を仮定しました。男性と女性の間で有意に異なるものを識別するために、画像セグメンテーションを通じて仮説に関連する多数の網膜特性を測定しました。多重比較の問題に取り組むために、微調整に使用される画像とは異なる 100 個の眼底画像のセットでパラメーターをテストすることにより、パラメーターを最終候補に挙げました。最後に、以前のセットには含まれていなかった追加の 400 枚の画像を使用して、網膜の重要な性差を明らかにしました。結果: 乳頭周囲領域は、女性と比較して男性の方が暗いことが観察されました (p=.023, d=.243)。また、男性はより多くの枝 (p=.016, d=.272) と結節 (p=.014, d=.299) を示し、枝の全長 (p =.045, d=.206) を容器グラフに表示します。また、血管は、女性と比較して男性の網膜の上側頭象限のより広い領域をカバーしています (p=0.048、d=.194)。結論: 私たちの方法論は、眼底写真の網膜の特徴を明らかにし、CNN が現在未知であるが専門家にとって意味のある形質を予測できるようにします。
Purpose: Convolutional neural networks can be trained to detect various conditions or patient traits based on retinal fundus photographs, some of which, such as the patient sex, are invisible to the expert human eye. Here we propose a methodology for explainable classification of fundus images to uncover the mechanism(s) by which CNNs successfully predict the labels. We used patient sex as a case study to validate our proposed methodology. Approach: First, we used a set of 4746 fundus images, including training, validation and test partitions, to fine-tune a pre-trained CNN on the sex classification task. Next, we utilized deep learning explainability tools to hypothesize possible ways sex differences in the retina manifest. We measured numerous retinal properties relevant to our hypotheses through image segmentation to identify those significantly different between males and females. To tackle the multiple comparisons problem, we shortlisted the parameters by testing them on a set of 100 fundus images distinct from the images used for fine-tuning. Finally, we used an additional 400 images, not included in any previous set, to reveal significant sex differences in the retina. Results: We observed that the peripapillary area is darker in males compared to females (p=.023, d=.243). We also observed that males have richer retinal vasculature networks by showing a higher number of branches (p=.016, d=.272) and nodes (p=.014, d=.299) and a larger total length of branches (p=.045, d=.206) in the vessel graph. Also, vessels cover a greater area in the superior temporal quadrant of the retina in males compared to females (p=0.048, d=.194). Conclusions: Our methodology reveals retinal features in fundus photographs that allow CNNs to predict traits currently unknown, but meaningful to experts.