この論文では、教師なし細胞核のセグメンテーションについて考察します。細胞核画像とランダムに合成されたマスクとの間で最近提案された対になっていない画像から画像への変換を利用して、既存のアプローチ、例えば、CycleGANは有望な結果を達成しました。ただし、これらの方法は通常2段階のパイプラインを使用し、細胞核画像でエンドツーエンドの学習に失敗します。さらに深刻なことに、これらは不可逆変換の問題、つまり元の画像と対応するセグメンテーション出力の間のコンテンツの不整合につながる可能性があります。これらの制限に対処するために、Aligned Disentangling Generative Adversarial Network(AD-GAN)と呼ばれる新しいエンドツーエンドの教師なしフレームワークを提案します。明確に、AD-GANは、表現の解きほぐしを導入して、コンテンツ表現(基礎となる空間構造)をスタイル表現(構造のレンダリング)から分離します。このフレームワークを使用すると、空間構造を明示的に保持できるため、マクロレベルの不可逆変換を大幅に削減できます。また、潜在空間で解きほぐされたコンテンツを整列させて、マイクロレベルの損失のある変換を減らすことができる新しいトレーニングアルゴリズムを提案します。実際の2Dおよび3Dデータセットでの評価は、AD-GANが他の比較方法やプロフェッショナルソフトウェアを定量的および定性的に大幅に上回っていることを示しています。具体的には、提案されたAD-GANは、4つの細胞核データセットで、現在の最良の教師なし手法よりも平均17.8%(メトリックDICEに対して)大幅な改善をもたらします。教師なし手法として、AD-GANは最高の教師ありモデルとの競争力を発揮し、エンドツーエンドの教師なし核セグメンテーションに向けてさらに飛躍します。
We consider unsupervised cell nuclei segmentation in this paper. Exploiting the recently-proposed unpaired image-to-image translation between cell nuclei images and randomly synthetic masks, existing approaches, e.g., CycleGAN, have achieved encouraging results. However, these methods usually take a two-stage pipeline and fail to learn end-to-end in cell nuclei images. More seriously, they could lead to the lossy transformation problem, i.e., the content inconsistency between the original images and the corresponding segmentation output. To address these limitations, we propose a novel end-to-end unsupervised framework called Aligned Disentangling Generative Adversarial Network (AD-GAN). Distinctively, AD-GAN introduces representation disentanglement to separate content representation (the underling spatial structure) from style representation (the rendering of the structure). With this framework, spatial structure can be preserved explicitly, enabling a significant reduction of macro-level lossy transformation. We also propose a novel training algorithm able to align the disentangled content in the latent space to reduce micro-level lossy transformation. Evaluations on real-world 2D and 3D datasets show that AD-GAN substantially outperforms the other comparison methods and the professional software both quantitatively and qualitatively. Specifically, the proposed AD-GAN leads to significant improvement over the current best unsupervised methods by an average 17.8% relatively (w.r.t. the metric DICE) on four cell nuclei datasets. As an unsupervised method, AD-GAN even performs competitive with the best supervised models, taking a further leap towards end-to-end unsupervised nuclei segmentation.