病理学者は、細胞形態のすべてのニュアンスを説明できる豊富な語彙を持っています。彼らの世界には、画像と言葉の自然な組み合わせがあります。最近の進歩は、機械学習モデルをトレーニングして、高品質の画像の特徴を学習し、それらを個別の情報単位として表現できることを示しています。これにより、離散的である自然言語を画像と一緒に共同でモデル化することが可能になり、画像の内容の説明が得られます。ここでは、離散モデリング技術を非黒色腫皮膚癌の問題領域、特に表皮内癌(IEC)の組織学的画像に適用する実験を紹介します。 VQ-GANモデルを実装してIEC画像の高解像度(256x256)画像を再構築し、病理学者の用語を使用して自然言語の記述を生成するシーケンス間トランスフォーマーをトレーニングしました。連続生成法を使用して利用可能なインタラクティブな概念ベクトルのアイデアと組み合わせて、解釈可能性の追加の角度を示します。その結果、予測/分類ツールとして役立つだけでなく、病気の科学的理解を深める手段としても役立つ、表現力の高い機械学習システムに向けた有望な手段が得られます。
Pathologists have a rich vocabulary with which they can describe all the nuances of cellular morphology. In their world, there is a natural pairing of images and words. Recent advances demonstrate that machine learning models can now be trained to learn high-quality image features and represent them as discrete units of information. This enables natural language, which is also discrete, to be jointly modelled alongside the imaging, resulting in a description of the contents of the imaging. Here we present experiments in applying discrete modelling techniques to the problem domain of non-melanoma skin cancer, specifically, histological images of Intraepidermal Carcinoma (IEC). Implementing a VQ-GAN model to reconstruct high-resolution (256x256) images of IEC images, we trained a sequence-to-sequence transformer to generate natural language descriptions using pathologist terminology. Combined with the idea of interactive concept vectors available by using continuous generative methods, we demonstrate an additional angle of interpretability. The result is a promising means of working towards highly expressive machine learning systems which are not only useful as predictive/classification tools, but also means to further our scientific understanding of disease.