画質を向上させるためのディープニューラルネットワークは、通常、低品質の画像とそれに対応する高品質の画像のペアで構成される、高度にキュレートされた大量のトレーニングデータを必要とします。高品質の画像取得は、通常、費用と時間がかかりますが、中品質の画像は、取得が速く、機器のコストが低く、大量に利用できます。したがって、データキュレーションのコストを制限しながらパフォーマンスを向上させるために、複数の品質レベル(高品質および中品質など)でトレーニングデータを活用できる新しい生成的敵対的ネットワーク(GAN)を提案します。混合監視GANを適用して、(i)組織病理学画像を超解像し、(ii)超解像と外科的排煙を組み合わせて腹腔鏡画像を強化します。大規模な臨床および前臨床データセットの結果は、最先端の混合監視GANの利点を示しています。
Deep neural networks for image quality enhancement typically need large quantities of highly-curated training data comprising pairs of low-quality images and their corresponding high-quality images. While high-quality image acquisition is typically expensive and time-consuming, medium-quality images are faster to acquire, at lower equipment costs, and available in larger quantities. Thus, we propose a novel generative adversarial network (GAN) that can leverage training data at multiple levels of quality (e.g., high and medium quality) to improve performance while limiting costs of data curation. We apply our mixed-supervision GAN to (i) super-resolve histopathology images and (ii) enhance laparoscopy images by combining super-resolution and surgical smoke removal. Results on large clinical and pre-clinical datasets show the benefits of our mixed-supervision GAN over the state of the art.