この作業では、注釈付き画像の一部のみを使用してセマンティック画像セグメンテーションのディープネットワークをトレーニングする問題を研究します。特に、半教師付きセグメンテーションでCycleGANのペアになっていない画像スタイルの転送機能を活用する戦略を提案します。半教師付きセグメンテーションに敵対的学習を使用した最近の作品とは異なり、ペアリングされていない画像とセグメンテーションマスク間の双方向マッピングを学習するために、サイクルの一貫性を強化します。これにより、注釈付きデータが制限されている場合にセグメンテーションパフォーマンスを向上させる、教師なしの正則化効果が追加されます。 3つの異なるパブリックセグメンテーションベンチマーク(PASCAL VOC 2012、Cityscapes、ACDC)の実験は、提案された方法の有効性を示しています。提案されたモデルは、ベースラインに関して2〜4%の改善を達成し、特に低ラベルのデータ体制で、このタスクの最近のアプローチより優れています。
In this work, we study the problem of training deep networks for semantic image segmentation using only a fraction of annotated images, which may significantly reduce human annotation efforts. Particularly, we propose a strategy that exploits the unpaired image style transfer capabilities of CycleGAN in semi-supervised segmentation. Unlike recent works using adversarial learning for semi-supervised segmentation, we enforce cycle consistency to learn a bidirectional mapping between unpaired images and segmentation masks. This adds an unsupervised regularization effect that boosts the segmentation performance when annotated data is limited. Experiments on three different public segmentation benchmarks (PASCAL VOC 2012, Cityscapes and ACDC) demonstrate the effectiveness of the proposed method. The proposed model achieves 2-4% of improvement with respect to the baseline and outperforms recent approaches for this task, particularly in low labeled data regime.