マルチビュー医療画像分析は、多くの場合、複数のビューからの情報の組み合わせに依存します。ただし、視点の違いやその他の形式のずれにより、登録が常に可能であるとは限らないため、ビューを効果的に組み合わせることが困難になる可能性があります。登録がない場合、ビューは、グローバルプーリング後に特徴ベクトルを結合することにより、グローバル特徴レベルでのみ組み合わせることができます。空間特徴マップのレベルで未登録のビュー間で情報を転送するための新しいクロスビュートランスフォーマー方法を提示します。マルチビューマンモグラフィと胸部X線データセットでこの方法を示します。両方のデータセットで、空間特徴マップをリンクするクロスビュートランスフォーマーは、グローバルプーリング後に特徴ベクトルを結合するベースラインモデルよりもパフォーマンスが優れていることがわかります。
Multi-view medical image analysis often depends on the combination of information from multiple views. However, differences in perspective or other forms of misalignment can make it difficult to combine views effectively, as registration is not always possible. Without registration, views can only be combined at a global feature level, by joining feature vectors after global pooling. We present a novel cross-view transformer method to transfer information between unregistered views at the level of spatial feature maps. We demonstrate this method on multi-view mammography and chest X-ray datasets. On both datasets, we find that a cross-view transformer that links spatial feature maps can outperform a baseline model that joins feature vectors after global pooling.