arXiv reaDer
ImageGCN: Multi-Relational Image Graph Convolutional Networks for Disease Identification with Chest X-rays
画像表現は、コンピュータビジョンの基本的なタスクです。ただし、画像表現の既存のアプローチのほとんどは、画像間の関係を無視し、各入力画像を個別に考慮します。直感的には、画像間の関係は、画像を理解し、関連する画像全体でモデルの一貫性を維持するのに役立ち、説明性が向上します。この論文では、より有益な画像表現を生成するために画像レベルの関係をモデル化することを検討し、帰納的多関係画像モデリングのためのエンドツーエンドのグラフ畳み込みネットワークフレームワークであるImageGCNを提案します。 ImageGCNは、疾患の特定に豊富な関係情報が利用できる胸部X線画像に適用されます。以前の画像表現モデルとは異なり、ImageGCNは、元のピクセルの特徴と他の画像との関係の両方を使用して画像の表現を学習します。 ImageGCNは、画像の有益な表現を学習するだけでなく、弱く監視された方法でオブジェクト検出に使用することもできます。 3つのオープンソースX線データセット、ChestX-ray14、CheXpert、MIMIC-CXRの実験結果は、ImageGCNが疾患の特定と位置特定の両方のタスクでそれぞれのベースラインを上回り、現在の状態よりも同等で多くの場合より良い結果を達成できることを示しています。最先端の方法。
Image representation is a fundamental task in computer vision. However, most of the existing approaches for image representation ignore the relations between images and consider each input image independently. Intuitively, relations between images can help to understand the images and maintain model consistency over related images, leading to better explainability. In this paper, we consider modeling the image-level relations to generate more informative image representations, and propose ImageGCN, an end-to-end graph convolutional network framework for inductive multi-relational image modeling. We apply ImageGCN to chest X-ray images where rich relational information is available for disease identification. Unlike previous image representation models, ImageGCN learns the representation of an image using both its original pixel features and its relationship with other images. Besides learning informative representations for images, ImageGCN can also be used for object detection in a weakly supervised manner. The experimental results on 3 open-source x-ray datasets, ChestX-ray14, CheXpert and MIMIC-CXR demonstrate that ImageGCN can outperform respective baselines in both disease identification and localization tasks and can achieve comparable and often better results than the state-of-the-art methods.
updated: Fri Feb 25 2022 16:16:26 GMT+0000 (UTC)
published: Sun Mar 31 2019 02:42:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト