arXiv reaDer
Correlation Maximized Structural Similarity Loss for Semantic Segmentation
  ほとんどのセマンティックセグメンテーションモデルは、セマンティックセグメンテーションをピクセル単位の分類タスクとして扱い、ピクセル単位の分類エラーを最適化基準として使用します。ただし、ピクセル単位のエラーは画像内のピクセル間の強い依存関係を無視するため、モデルのパフォーマンスが制限されます。オブジェクトの構造情報を組み込むいくつかの方法、たとえば条件付きランダムフィールド(CRF)、画像構造の事前確率に基づく方法、生成的敵対ネットワーク(GAN)が調査されています。それにもかかわらず、これらの方法は通常、追加のモデルブランチまたは追加のメモリを必要とし、それらのいくつかは限定的な改善を示します。対照的に、オブジェクトの構造情報をエンコードするためのシンプルで効果的な構造的類似性損失(SSL)を提案します。これは、トレーニング段階でいくつかの追加の計算リソースのみを必要とします。画質評価で広く使用されている構造的類似性(SSIM)インデックスに触発され、2つの画像間の線形相関を使用して構造的類似性を定量化します。また、提案されたSSLの目標は、位置にさらに注意を払うことであり、その関連する予測により、グラウンドトゥルースマップと予測マップの2つの対応する領域間の線形相関が低くなります。したがって、モデルは、マップ全体でSSLを最小化することにより、2つのマップ間で構造的に強い類似性を実現できます。実験結果は、PASCAL VOC 2012およびCityscapesデータセットのパフォーマンスを大幅に一貫して改善できることを示しています。コードはまもなくリリースされます。
Most semantic segmentation models treat semantic segmentation as a pixel-wise classification task and use a pixel-wise classification error as their optimization criterions. However, the pixel-wise error ignores the strong dependencies among the pixels in an image, which limits the performance of the model. Several ways to incorporate the structure information of the objects have been investigated, \eg, conditional random fields (CRF), image structure priors based methods, and generative adversarial network (GAN). Nevertheless, these methods usually require extra model branches or additional memories, and some of them show limited improvements. In contrast, we propose a simple yet effective structural similarity loss (SSL) to encode the structure information of the objects, which only requires a few additional computational resources in the training phase. Inspired by the widely-used structural similarity (SSIM) index in image quality assessment, we use the linear correlation between two images to quantify their structural similarity. And the goal of the proposed SSL is to pay more attention to the positions, whose associated predictions lead to a low degree of linear correlation between two corresponding regions in the ground truth map and the predicted map. Thus the model can achieve a strong structural similarity between the two maps through minimizing the SSL over the whole map. The experimental results demonstrate that our method can achieve substantial and consistent improvements in performance on the PASCAL VOC 2012 and Cityscapes datasets. The code will be released soon.
updated: Sat Oct 19 2019 06:33:11 GMT+0000 (UTC)
published: Sat Oct 19 2019 06:33:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト