arXiv reaDer
画像レジストレーション(AiR)への注意:教師なしTransformerアプローチ
Attention for Image Registration (AiR): an unsupervised Transformer approach
信号処理タスクの重要な基礎としての画像レジストレーションは、安定性と効率の問題に直面することがよくあります。非学習登録アプローチは、修正と動画の間の類似性メトリックの最適化に依存しています。しかし、これらのアプローチは通常、時間と空間の両方の複雑さにおいてコストがかかります。画像のサイズが大きい場合、または画像間の変形が激しい場合、問題はさらに悪化する可能性があります。最近、深層学習、つまり正確に言えば、畳み込みニューラルネットワーク(CNN)ベースの画像レジストレーション手法が研究コミュニティで広く調査されており、非学習ベースの手法の弱点を克服するための有望な有効性が示されています。実用的な問題を解決するための画像レジストレーション問題における高度な学習アプローチを探求するために、本論文では、変形可能な画像レジストレーション問題に注意メカニズムを導入する方法を提示した。提案されたアプローチは、CNNに依存しないが、GPGPUデバイスでも効率的にトレーニングできるTransformerフレームワーク(AiR)を使用して変形フィールドを学習することに基づいています。より鮮明な解釈では、画像レジストレーションの問題を言語翻訳タスクと同じように扱い、問題に取り組むためにTransformerを導入します。私たちの方法は、教師なしで生成された変形マップを学習し、2つのベンチマークデータセットでテストされます。 AiRのソースコードはGitlabでリリースされます。
Image registration as an important basis in signal processing task often encounter the problem of stability and efficiency. Non-learning registration approaches rely on the optimization of the similarity metrics between the fix and moving images. Yet, those approaches are usually costly in both time and space complexity. The problem can be worse when the size of the image is large or the deformations between the images are severe. Recently, deep learning, or precisely saying, the convolutional neural network (CNN) based image registration methods have been widely investigated in the research community and show promising effectiveness to overcome the weakness of non-learning based methods. To explore the advanced learning approaches in image registration problem for solving practical issues, we present in this paper a method of introducing attention mechanism in deformable image registration problem. The proposed approach is based on learning the deformation field with a Transformer framework (AiR) that does not rely on the CNN but can be efficiently trained on GPGPU devices also. In a more vivid interpretation: we treat the image registration problem as the same as a language translation task and introducing a Transformer to tackle the problem. Our method learns an unsupervised generated deformation map and is tested on two benchmark datasets. The source code of the AiR will be released at Gitlab.
updated: Wed May 05 2021 18:49:32 GMT+0000 (UTC)
published: Wed May 05 2021 18:49:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト