生物医学的セグメンテーションのための深層学習システムの開発には、多くの場合、専門家主導の手動で注釈が付けられたデータセットへのアクセスが必要です。複数の専門家が同じ画像の注釈に関与している場合、専門家間の合意は必ずしも完全ではなく、単一の専門家の注釈がすべての画像の関心領域のいわゆるグラウンドトゥルースを正確にキャプチャできるわけではありません。また、複数の専門家からの注釈を使用して参照推定値を生成することは簡単ではありません。ここでは、U-Net-and-halfとして定義されるディープニューラルネットワークを紹介します。これは、同じ画像セットに対して複数の専門家によって実行された注釈から同時に学習できます。 U-Net-and-ahalfには、入力画像から特徴を生成する畳み込みエンコーダー、複数の専門家によって独立して生成された注釈から取得した画像マスクからの同時学習を可能にする複数のデコーダー、および共有低次元特徴空間が含まれています。フレームワークの適用性を実証するために、デジタルパソロジーと放射線学の2つの異なるデータセットをそれぞれ使用しました。具体的には、人間の腎臓生検のスライド画像全体の糸球体の病理医主導の注釈(10人の患者)と血管内超音波画像から得られた人間の動静脈瘻の内腔断面の放射線科医主導の注釈(10人の患者)を使用して2つの別々のモデルを訓練しました、 それぞれ。 U-Netと半分に基づくモデルは、単一の専門家の注釈のみでトレーニングされた従来のU-Netモデルのパフォーマンスを上回り、生物医学画像セグメンテーションのコンテキストでマルチタスク学習の範囲を拡大しました。
Development of deep learning systems for biomedical segmentation often requires access to expert-driven, manually annotated datasets. If more than a single expert is involved in the annotation of the same images, then the inter-expert agreement is not necessarily perfect, and no single expert annotation can precisely capture the so-called ground truth of the regions of interest on all images. Also, it is not trivial to generate a reference estimate using annotations from multiple experts. Here we present a deep neural network, defined as U-Net-and-a-half, which can simultaneously learn from annotations performed by multiple experts on the same set of images. U-Net-and-a-half contains a convolutional encoder to generate features from the input images, multiple decoders that allow simultaneous learning from image masks obtained from annotations that were independently generated by multiple experts, and a shared low-dimensional feature space. To demonstrate the applicability of our framework, we used two distinct datasets from digital pathology and radiology, respectively. Specifically, we trained two separate models using pathologist-driven annotations of glomeruli on whole slide images of human kidney biopsies (10 patients), and radiologist-driven annotations of lumen cross-sections of human arteriovenous fistulae obtained from intravascular ultrasound images (10 patients), respectively. The models based on U-Net-and-a-half exceeded the performance of the traditional U-Net models trained on single expert annotations alone, thus expanding the scope of multitask learning in the context of biomedical image segmentation.