arXiv reaDer
Methods and open-source toolkit for analyzing and visualizing challenge results
 生物医学の課題は、生物医学画像解析アルゴリズムのベンチマークの事実上の標準になりました。課題の数は着実に増加していますが、これらの国際的な競技会の質の高い設計、実施、報告を確保するための努力は驚くほど少ないです。具体的には、不確実性がある場合の結果の分析と視覚化は、文献ではほとんど注目されていません。これらの欠点を考えると、この論文の貢献は2つあります。(1)シングルタスクおよびマルチタスクの課題の結果を包括的に分析および視覚化し、それらを多くのシミュレーションおよび実特定の長所と短所を示すための人生の課題。 (2)本書で提案する方法論を迅速かつ幅広く採用できるようにするため、この作業の一環としてオープンソースフレームワークchallengeRをリリースします。私たちのアプローチは、アルゴリズムの相対的および絶対的なパフォーマンスに関する重要な洞察を得るための直観的な方法を提供します。これは、一般的に適用される視覚化技術では明らかにできません。これは、この作業内で実行された実験によって実証されています。このように、私たちのフレームワークは、生物医学画像分析の分野およびそれ以降の課題の結果を分析および視覚化するための重要なツールになる可能性があります。
Biomedical challenges have become the de facto standard for benchmarking biomedical image analysis algorithms. While the number of challenges is steadily increasing, surprisingly little effort has been invested in ensuring high quality design, execution and reporting for these international competitions. Specifically, results analysis and visualization in the event of uncertainties have been given almost no attention in the literature. Given these shortcomings, the contribution of this paper is two-fold: (1) We present a set of methods to comprehensively analyze and visualize the results of single-task and multi-task challenges and apply them to a number of simulated and real-life challenges to demonstrate their specific strengths and weaknesses; (2) We release the open-source framework challengeR as part of this work to enable fast and wide adoption of the methodology proposed in this paper. Our approach offers an intuitive way to gain important insights into the relative and absolute performance of algorithms, which cannot be revealed by commonly applied visualization techniques. This is demonstrated by the experiments performed within this work. Our framework could thus become an important tool for analyzing and visualizing challenge results in the field of biomedical image analysis and beyond.
updated: Thu Dec 05 2019 13:51:36 GMT+0000 (UTC)
published: Fri Oct 11 2019 12:33:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト