arXiv reaDer
なぜ勝者が最高なのですか?
Why is the winner the best?
国際的なベンチマーク コンテストは、画像解析手法の比較パフォーマンス評価の基本となっています。しかし、これらの競争から何を学ぶことができるかを調査することにはほとんど注意が向けられていません。それらは本当に科学的進歩を生み出しているのでしょうか?一般的で成功する参加戦略とは?ソリューションが競合する方法よりも優れている理由は何ですか?文献のこのギャップに対処するために、IEEE ISBI 2021 および MICCAI 2021 の範囲で実施された 80 の競技会すべてで多施設研究を実施しました。統計分析は、提出されたアルゴリズムの包括的な説明に基づいて行われ、それらのランクにもリンクされています。基礎となる参加戦略が、勝利ソリューションの共通の特徴を明らかにしたからです。これらには通常、マルチタスク学習 (63%) および/またはマルチステージ パイプライン (61%) の使用、増強 (100%)、画像前処理 (97%)、データ キュレーション (79%)、および後処理 (66%)。優勝チームの「典型的な」リーダーは、博士号を取得し、生物医学画像解析で 5 年の経験を持ち、深層学習で 4 年の経験を持つコンピューター科学者です。上位のチームでは、2 つの主要な一般的な開発戦略が際立っていました。方法設計におけるメトリクスの反映と、失敗事例の分析と処理に焦点を当てることです。主催者によると、優勝したアルゴリズムの 43% は最新技術を上回っていましたが、それぞれのドメインの問題を完全に解決したのはわずか 11% でした。私たちの研究の洞察は、研究者が(1)新しい問題に取り組む際のアルゴリズム開発戦略を改善し、(2)この研究によって明らかになった未解決の研究課題に焦点を当てるのに役立つ可能性があります。
International benchmarking competitions have become fundamental for the comparative performance assessment of image analysis methods. However, little attention has been given to investigating what can be learnt from these competitions. Do they really generate scientific progress? What are common and successful participation strategies? What makes a solution superior to a competing method? To address this gap in the literature, we performed a multi-center study with all 80 competitions that were conducted in the scope of IEEE ISBI 2021 and MICCAI 2021. Statistical analyses performed based on comprehensive descriptions of the submitted algorithms linked to their rank as well as the underlying participation strategies revealed common characteristics of winning solutions. These typically include the use of multi-task learning (63%) and/or multi-stage pipelines (61%), and a focus on augmentation (100%), image preprocessing (97%), data curation (79%), and postprocessing (66%). The "typical" lead of a winning team is a computer scientist with a doctoral degree, five years of experience in biomedical image analysis, and four years of experience in deep learning. Two core general development strategies stood out for highly-ranked teams: the reflection of the metrics in the method design and the focus on analyzing and handling failure cases. According to the organizers, 43% of the winning algorithms exceeded the state of the art but only 11% completely solved the respective domain problem. The insights of our study could help researchers (1) improve algorithm development strategies when approaching new problems, and (2) focus on open research questions revealed by this work.
updated: Thu Mar 30 2023 21:41:42 GMT+0000 (UTC)
published: Thu Mar 30 2023 21:41:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト