複雑な機械学習タスクで最適化されたメトリックは、アドホックな方法で選択されることがよくあります。それらが人間の専門家の認識とどのように一致するかは不明です。確立された定量的セグメンテーション品質指標と、専門的に訓練された人間の評価者による定性的評価との間の相関関係を調査します。したがって、2 つの複雑な生物医学的セマンティック セグメンテーション問題の心理物理学的実験を行います。現在の標準的なメトリックと損失関数は、専門家のセグメンテーション品質評価と適度にしか相関しないことがわかりました。重要なことに、この効果は、脳磁気共鳴における神経膠腫の腫瘍コンパートメントの増強や超音波画像における灰白質など、臨床的に関連する構造で特に顕著です。この課題に対処するために、畳み込みニューラル ネットワーク (CNN) トレーニングの人間の専門家の認識をより適切に近似するために、古典的な統計の手法を使用して補完的な複合損失関数を作成する新しい戦略を提案します。すべての評価実験を通じて、人間の専門家は、人間が精選した参照ラベルよりも一貫して、コンピューターで生成されたセグメンテーションをよりよくスコアリングしました。したがって、私たちの結果は、医療画像のセグメンテーションにおける現在の多くの慣行に強く疑問を投げかけ、将来の研究に意味のある手がかりを提供します.
Metrics optimized in complex machine learning tasks are often selected in an ad-hoc manner. It is unknown how they align with human expert perception. We explore the correlations between established quantitative segmentation quality metrics and qualitative evaluations by professionally trained human raters. Therefore, we conduct psychophysical experiments for two complex biomedical semantic segmentation problems. We discover that current standard metrics and loss functions correlate only moderately with the segmentation quality assessment of experts. Importantly, this effect is particularly pronounced for clinically relevant structures, such as the enhancing tumor compartment of glioma in brain magnetic resonance and grey matter in ultrasound imaging. To cope with this challenge, we propose a novel strategy employing techniques of classical statistics to create complementary compound loss functions to better approximate human expert perception for convolutional neural network (CNN) training. Across all rating experiments, human experts consistently scored computer-generated segmentations better than the human-curated reference labels. Our results, therefore, strongly question many current practices in medical image segmentation and provide meaningful cues for future research.