arXiv reaDer
核セグメンテーションのためのマルチモダリティ顕微鏡画像スタイル転送
Multi-Modality Microscopy Image Style Transfer for Nuclei Segmentation
核のセグメンテーションのために顕微鏡画像に注釈を付けることは、面倒で時間がかかる。また、複数のモダリティにわたって、いくつかの既存の注釈を活用するために、生成的敵対的ネットワーク(GAN)に基づく新しい顕微鏡スタイルの増強技術を提案します。他のスタイルの転送方法とは異なり、さまざまな細胞アッセイの種類や照明条件だけでなく、明視野顕微鏡や蛍光顕微鏡などのさまざまなイメージングモダリティにも対応できます。コンテンツとスタイルのもつれを解いた表現を使用すると、拡張中にスタイルを変更しながら、元の画像の構造を保持できます。さまざまな細胞アッセイ、照明条件、およびイメージングモダリティで構成される2018 Data ScienceBowlデータセットでデータ拡張を評価します。私たちのスタイルの強化により、競合他社の2つのトップランクのMaskR-CNNベースの核セグメンテーションアルゴリズムのセグメンテーション精度が大幅に向上します。したがって、私たちの拡張手法は、ダウンストリームタスクをテストデータの不均一性に対してより堅牢にし、少数派クラスをリサンプリングすることなくクラスの不均衡を打ち消すのに役立ちます。
Annotating microscopy images for nuclei segmentation is laborious and time-consuming. To leverage the few existing annotations, also across multiple modalities, we propose a novel microscopy-style augmentation technique based on a generative adversarial network (GAN). Unlike other style transfer methods, it can not only deal with different cell assay types and lighting conditions, but also with different imaging modalities, such as bright-field and fluorescence microscopy. Using disentangled representations for content and style, we can preserve the structure of the original image while altering its style during augmentation. We evaluate our data augmentation on the 2018 Data Science Bowl dataset consisting of various cell assays, lighting conditions, and imaging modalities. With our style augmentation, the segmentation accuracy of the two top-ranked Mask R-CNN-based nuclei segmentation algorithms in the competition increases significantly. Thus, our augmentation technique renders the downstream task more robust to the test data heterogeneity and helps counteract class imbalance without resampling of minority classes.
updated: Tue Nov 23 2021 20:19:20 GMT+0000 (UTC)
published: Tue Nov 23 2021 20:19:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト