トレーニング中に目に見えないクラスからのサンプルを認識できないことは、網膜異常の認識と分類を現実世界に実装する場合の人工知能の大きな制限です。我々は、9 つの網膜状態の眼底画像でトレーニングされた不確実性を考慮したオープンセット (UIOS) モデルを確立しました。 UIOS は、各カテゴリの確率を評価することに加えて、その信頼性を表す不確実性スコアも計算しました。しきい値処理戦略を備えた UIOS モデルは、標準 AI モデルによる F1 スコアが 92.20%、80.69%、64.74% であったのと比較して、内部テスト セット、外部ターゲット カテゴリ (TC) - JSIEC データセット、および TC 未確認テスト セットでそれぞれ 99.55%、97.01%、91.91% の F1 スコアを達成しました。さらに、UIOS は高い不確実性スコアを正確に予測しました。これにより、非ターゲット カテゴリである網膜疾患、低品質の眼底画像、および非眼底画像のデータセットを手動でチェックする必要が生じます。 UIOS は、網膜異常を実際にスクリーニングするための堅牢な方法を提供します。
Failure to recognize samples from the classes unseen during training is a major limitation of artificial intelligence in the real-world implementation for recognition and classification of retinal anomalies. We established an uncertainty-inspired open-set (UIOS) model, which was trained with fundus images of 9 retinal conditions. Besides assessing the probability of each category, UIOS also calculated an uncertainty score to express its confidence. Our UIOS model with thresholding strategy achieved an F1 score of 99.55%, 97.01% and 91.91% for the internal testing set, external target categories (TC)-JSIEC dataset and TC-unseen testing set, respectively, compared to the F1 score of 92.20%, 80.69% and 64.74% by the standard AI model. Furthermore, UIOS correctly predicted high uncertainty scores, which would prompt the need for a manual check in the datasets of non-target categories retinal diseases, low-quality fundus images, and non-fundus images. UIOS provides a robust method for real-world screening of retinal anomalies.