開業医は、信頼できる診断を行うために多くの診断テストを使用します。従来、ヘマトキシリンとエオシン (H&E) ステンド グラス スライドは、がんの診断と腫瘍の検出に使用されてきました。しかし、最近では、H&E スライドのみでは困難な場合に、病理学者が腫瘍のサブタイプを決定するための診断を検査および確認するために、さまざまな免疫組織化学 (IHC) 染色スライドを要求することができます。深層学習 (DL) は、画像検索エンジンが診断のターゲット領域である場合とそうでない場合がある組織領域から特徴を抽出するために、最近多くの関心を集めています。このアプローチは、一般に、組織病理画像の悪性または異常な内容に対応する高レベルのパターンを捉えることができません。この作業では、病理学者のワークフローに触発された、ターゲットを絞った画像検索アプローチを提案しています。これは、利用可能な場合に複数の IHC バイオマーカー画像からの情報を使用する可能性があります。これらの IHC 画像を整列、フィルター処理、およびマージして複合バイオマーカー画像 (CBI) を生成し、最終的にこれを使用してアテンション マップを生成し、検索エンジンをローカライズ検索に誘導することができます。私たちの実験では、IHC ガイド付き画像検索エンジンは、IHC ガイドなしの従来の (つまり、H&E のみの) 検索エンジンよりも関連データをより正確に取得できることがわかりました。さらに、そのようなエンジンは、多数決によってサブタイプを正確に結論付けることもできます。
Medical practitioners use a number of diagnostic tests to make a reliable diagnosis. Traditionally, Haematoxylin and Eosin (H&E) stained glass slides have been used for cancer diagnosis and tumor detection. However, recently a variety of immunohistochemistry (IHC) stained slides can be requested by pathologists to examine and confirm diagnoses for determining the subtype of a tumor when this is difficult using H&E slides only. Deep learning (DL) has received a lot of interest recently for image search engines to extract features from tissue regions, which may or may not be the target region for diagnosis. This approach generally fails to capture high-level patterns corresponding to the malignant or abnormal content of histopathology images. In this work, we are proposing a targeted image search approach, inspired by the pathologists workflow, which may use information from multiple IHC biomarker images when available. These IHC images could be aligned, filtered, and merged together to generate a composite biomarker image (CBI) that could eventually be used to generate an attention map to guide the search engine for localized search. In our experiments, we observed that an IHC-guided image search engine can retrieve relevant data more accurately than a conventional (i.e., H&E-only) search engine without IHC guidance. Moreover, such engines are also able to accurately conclude the subtypes through majority votes.