組織標本からの癌の診断、予後、および治療反応の予測は、構成する組織学的実体の表現型および位相的分布に大きく依存します。したがって、組織学的実体をコード化するための適切な組織表現は、コンピュータ支援の癌患者のケアにとって不可欠です。この目的のために、いくつかのアプローチは、組織情報を示すために細胞の形態と組織をエンコードする細胞グラフを活用しています。これらにより、機械学習を利用して組織表現を組織機能にマッピングし、それらの関係を定量化することができます。細胞情報は重要ですが、複雑な組織構造を包括的に特徴づけることだけでは不完全です。ここでは、組織を細かいレベルから粗いレベルまでの複数のタイプの組織学的エンティティの階層的構成として扱い、複数のレベルで多変量組織情報をキャプチャします。組織標本の新しいマルチレベル階層エンティティグラフ表現を提案して、組織学的エンティティとそのエンティティ内およびエンティティ間レベルの相互作用をエンコードする階層構成をモデル化します。続いて、組織構造を組織機能にマッピングするために、階層エンティティグラフ表現を操作するグラフニューラルネットワークが提案されます。具体的には、入力組織像について、明確に定義された細胞と組織領域を利用してHierArchical Cell-to-Tissue(HACT)グラフ表現を構築し、グラフニューラルネットワークであるHACT-Netを考案してそのようなHACT表現を分類します。この作業の一環として、病理学者と最先端のアプローチに対して提案された方法論を評価するために、H&E染色乳房腫瘍画像の大規模なコホートであるBReAst癌サブタイピング(BRACS)データセットを紹介します。比較評価とアブレーション研究を通じて、私たちの方法は、病理学者だけでなく、代替方法と比較して優れた分類結果をもたらすことが実証されています。
Cancer diagnosis, prognosis, and therapy response predictions from tissue specimens highly depend on the phenotype and topological distribution of constituting histological entities. Thus, adequate tissue representations for encoding histological entities is imperative for computer aided cancer patient care. To this end, several approaches have leveraged cell-graphs that encode cell morphology and organization to denote the tissue information. These allow for utilizing machine learning to map tissue representations to tissue functionality to help quantify their relationship. Though cellular information is crucial, it is incomplete alone to comprehensively characterize complex tissue structure. We herein treat the tissue as a hierarchical composition of multiple types of histological entities from fine to coarse level, capturing multivariate tissue information at multiple levels. We propose a novel multi-level hierarchical entity-graph representation of tissue specimens to model hierarchical compositions that encode histological entities as well as their intra- and inter-entity level interactions. Subsequently, a graph neural network is proposed to operate on the hierarchical entity-graph representation to map the tissue structure to tissue functionality. Specifically, for input histology images we utilize well-defined cells and tissue regions to build HierArchical Cell-to-Tissue (HACT) graph representations, and devise HACT-Net, a graph neural network, to classify such HACT representations. As part of this work, we introduce the BReAst Carcinoma Subtyping (BRACS) dataset, a large cohort of H&E stained breast tumor images, to evaluate our proposed methodology against pathologists and state-of-the-art approaches. Through comparative assessment and ablation studies, our method is demonstrated to yield superior classification results compared to alternative methods as well as pathologists.