ディープニューラルネットワーク(DNN)が最初に医療画像分析コミュニティに導入されたとき、研究者はそのパフォーマンスに感銘を受けました。ただし、適切に機能するDNNをトレーニングするには、手動でラベル付けされた多数のデータが必要になることがよくあります。経験豊富な専門家から多数の注釈を収集することは時間と費用がかかる可能性があるため、監視データとラベルに対するこの需要は、現在の医療画像分析における主要なボトルネックです。この論文では、医用画像を読む放射線科医の眼球運動が、DNNベースのコンピュータ支援診断(CAD)システムを訓練するための新しい形態の監視になり得ることを示しています。特に、放射線科医が画像を読んでいるときの視線の軌跡を記録します。視線情報は処理され、注意一貫性モジュールを介してDNNの注意を監視するために使用されます。私たちの知る限り、上記のパイプラインは、ディープラーニングベースのCADに専門家の眼球運動を活用するための最も初期の取り組みの1つです。変形性関節症の評価のために、膝のX線画像で広範な実験を実施しました。結果は、私たちの方法が視線監視の助けを借りて、診断性能のかなりの改善を達成できることを示しています。
When deep neural network (DNN) was first introduced to the medical image analysis community, researchers were impressed by its performance. However, it is evident now that a large number of manually labeled data is often a must to train a properly functioning DNN. This demand for supervision data and labels is a major bottleneck in current medical image analysis, since collecting a large number of annotations from experienced experts can be time-consuming and expensive. In this paper, we demonstrate that the eye movement of radiologists reading medical images can be a new form of supervision to train the DNN-based computer-aided diagnosis (CAD) system. Particularly, we record the tracks of the radiologists' gaze when they are reading images. The gaze information is processed and then used to supervise the DNN's attention via an Attention Consistency module. To the best of our knowledge, the above pipeline is among the earliest efforts to leverage expert eye movement for deep-learning-based CAD. We have conducted extensive experiments on knee X-ray images for osteoarthritis assessment. The results show that our method can achieve considerable improvement in diagnosis performance, with the help of gaze supervision.