近年、セマンティックセグメンテーションはコンピュータビジョンのさまざまな研究から恩恵を受けています。非常に用途の広いCycleGANアーキテクチャに着想を得て、セマンティックセグメンテーションとサイクル整合性の概念を組み合わせて、マルチタスクトレーニングプロトコルを実現します。ただし、学習は、潜在的なセグメンテーションドメインで透かしとして表現される、いわゆるステガノグラフィ効果によって大幅に妨げられ、画像の再構成が非常に簡単な作業になります。これに対抗するために、サイクルアーキテクチャにおけるこの不利な情報フローを回避するために、量子化ノイズまたはガウスノイズ加算のいずれかに基づくノイズ注入を提案します。ノイズ注入により透かしの生成が大幅に減少し、ERFNetベースラインではほとんど検出されない「交通標識」などの関連性の高いクラスの認識が可能になることがわかりました。セマンティックセグメンテーションと画像再構成のために、CityscapesデータセットでそれぞれmIoUとPSNRの結果を報告します。提案された方法論は、ノイズ注入なしで同じCycleGANに対して絶対5.7%、ERFNet非周期ベースラインに対して絶対4.9%のCityscapes検証セットでmIoUの改善を達成することを可能にします。
In recent years, semantic segmentation has taken benefit from various works in computer vision. Inspired by the very versatile CycleGAN architecture, we combine semantic segmentation with the concept of cycle consistency to enable a multitask training protocol. However, learning is largely prevented by the so-called steganography effect, which expresses itself as watermarks in the latent segmentation domain, making image reconstruction a too easy task. To combat this, we propose a noise injection, based either on quantization noise or on Gaussian noise addition to avoid this disadvantageous information flow in the cycle architecture. We find that noise injection significantly reduces the generation of watermarks and thus allows the recognition of highly relevant classes such as "traffic signs", which are hardly detected by the ERFNet baseline. We report mIoU and PSNR results on the Cityscapes dataset for semantic segmentation and image reconstruction, respectively. The proposed methodology allows to achieve an mIoU improvement on the Cityscapes validation set of 5.7% absolute over the same CycleGAN without noise injection, and still an absolute 4.9% over the ERFNet non-cyclic baseline.