デジタルパソロジースライドは、保存と管理が簡単で、閲覧と送信に便利です。ただし、デジタル化中の倍率(40倍)などの高解像度スキャンのため、スライド画像全体のファイルサイズは1ギガバイトを超え、最終的には巨大なストレージ容量と非常に遅いネットワーク伝送につながります。低解像度(5X)でスライドをスキャンする戦略を設計し、診断時に画像の詳細を復元するために超解像法を提案します。この方法は、マルチスケールの生成的敵対的ネットワークに基づいており、10X、20X、40Xなどの3つの高解像度画像を順次生成します。知覚損失、生成画像と実画像のジェネレータ損失を3つの画像解像度で比較し、弁別器を使用して、最高解像度の生成画像と実画像の違いを評価します。ネットワークのトレーニングとテストのために、10種類の人間の組織からの100,000の病理画像からなるデータセットが実行されます。生成された画像は、高いピーク信号対雑音比(PSNR)と構造的類似性指数(SSIM)を持っています。 10Xから40Xの画像のPSNRは24.16、22.27、20.44で、SSIMは0.845、0.680、0.512であり、DBPN、ESPCN、RDN、EDSR、MDSRなどの他の超解像ネットワークよりも優れています。さらに、目視検査により、当社のネットワークによって生成された高解像度画像は、診断に十分な詳細、良好な色再現、および実際の画像に近いことが示されていますが、他の5つのネットワークは、ひどくぼやけている、局所的な変形、または重要な詳細の欠落があります。さらに、生成された画像と実際の画像に基づく病理診断では、有意差は見られません。提案されたマルチスケールネットワークは、優れた高解像度の病理画像を生成でき、低コストのストレージ(5Xで約15MB /画像)、デジタル病理のためのより高速な画像共有方法を提供します。
Digital pathology slide is easy to store and manage, convenient to browse and transmit. However, because of the high-resolution scan for example 40 times magnification(40X) during the digitization, the file size of each whole slide image exceeds 1Gigabyte, which eventually leads to huge storage capacity and very slow network transmission. We design a strategy to scan slides with low resolution (5X) and a super-resolution method is proposed to restore the image details when in diagnosis. The method is based on a multi-scale generative adversarial network, which sequentially generate three high-resolution images such as 10X, 20X and 40X. The perceived loss, generator loss of the generated images and real images are compared on three image resolutions, and a discriminator is used to evaluate the difference of highest-resolution generated image and real image. A dataset consisting of 100,000 pathological images from 10 types of human tissues is performed for training and testing the network. The generated images have high peak-signal-to-noise-ratio (PSNR) and structural-similarity-index (SSIM). The PSNR of 10X to 40X image are 24.16, 22.27 and 20.44, and the SSIM are 0.845, 0.680 and 0.512, which are better than other super-resolution networks such as DBPN, ESPCN, RDN, EDSR and MDSR. Moreover, visual inspections show that the generated high-resolution images by our network have enough details for diagnosis, good color reproduction and close to real images, while other five networks are severely blurred, local deformation or miss important details. Moreover, no significant differences can be found on pathological diagnosis based on the generated and real images. The proposed multi-scale network can generate good high-resolution pathological images, and will provide a low-cost storage (about 15MB/image on 5X), faster image sharing method for digital pathology.