自然言語タスクで前例のない成功を収めた後、トランスフォーマーはいくつかのコンピュータービジョンの問題にうまく適用され、最先端の結果を達成し、研究者に畳み込みニューラルネットワーク(CNN)の優位性を事実上のオペレーターとして再考するよう促しました。コンピュータビジョンのこれらの進歩を利用して、医用画像分野では、ローカル受容野を持つCNNと比較してグローバルコンテキストをキャプチャできるトランスフォーマーへの関心も高まっています。この移行から着想を得て、この調査では、最近提案された建築設計から未解決の問題に至るまで、さまざまな側面をカバーする医用画像における変圧器のアプリケーションの包括的なレビューを提供しようとしています。具体的には、医療画像のセグメンテーション、検出、分類、再構成、合成、登録、臨床レポートの生成、およびその他のタスクでのトランスフォーマーの使用を調査します。特に、これらのアプリケーションごとに、分類法を開発し、アプリケーション固有の課題を特定し、それらを解決するための洞察を提供し、最近の傾向を強調します。さらに、主要な課題の特定、未解決の問題、有望な将来の方向性の概要など、この分野全体の現状について批判的な議論を行います。この調査がコミュニティへのさらなる関心を呼び起こし、医用画像におけるTransformerモデルのアプリケーションに関する最新のリファレンスを研究者に提供することを願っています。最後に、この分野での急速な発展に対処するために、https://github.com/fahadshamshad/awesome-transformers-in-medical-imagingで関連する最新の論文とそのオープンソースの実装を定期的に更新する予定です。
Following unprecedented success on the natural language tasks, Transformers have been successfully applied to several computer vision problems, achieving state-of-the-art results and prompting researchers to reconsider the supremacy of convolutional neural networks (CNNs) as de facto operators. Capitalizing on these advances in computer vision, the medical imaging field has also witnessed growing interest for Transformers that can capture global context compared to CNNs with local receptive fields. Inspired from this transition, in this survey, we attempt to provide a comprehensive review of the applications of Transformers in medical imaging covering various aspects, ranging from recently proposed architectural designs to unsolved issues. Specifically, we survey the use of Transformers in medical image segmentation, detection, classification, reconstruction, synthesis, registration, clinical report generation, and other tasks. In particular, for each of these applications, we develop taxonomy, identify application-specific challenges as well as provide insights to solve them, and highlight recent trends. Further, we provide a critical discussion of the field's current state as a whole, including the identification of key challenges, open problems, and outlining promising future directions. We hope this survey will ignite further interest in the community and provide researchers with an up-to-date reference regarding applications of Transformer models in medical imaging. Finally, to cope with the rapid development in this field, we intend to regularly update the relevant latest papers and their open-source implementations at https://github.com/fahadshamshad/awesome-transformers-in-medical-imaging.