arXiv reaDer
セマンティック セグメンテーションのための構造的および統計的テクスチャ知識の抽出
Structural and Statistical Texture Knowledge Distillation for Semantic Segmentation
セマンティックセグメンテーションのための既存の知識の蒸留作業は、主に教師から生徒への高レベルの文脈知識の伝達に焦点を当てています。ただし、低レベルのテクスチャの知識は、境界、滑らかさ、規則性、色のコントラストなど、局所的な構造パターンやグローバルな統計的特性を特徴付けるために非常に重要であり、高レベルの深い機能ではうまく対処できない場合があります。この論文では、構造的および統計的テクスチャ知識の両方を最大限に活用し、セマンティック セグメンテーションのための新しい構造的および統計的テクスチャ知識蒸留 (SSTKD) フレームワークを提案することを目的としています。具体的には、構造テクスチャの知識については、反復ラプラシアン ピラミッドと方向フィルター バンクを使用して低レベルの特徴を分解し、構造テクスチャの知識をマイニングする Contourlet Decomposition Module (CDM) を導入します。統計的知識については、ヒューリスティック反復量子化とノイズ除去操作を通じて統計的テクスチャ知識を適応的に抽出および強化するために、ノイズ除去テクスチャ強度イコライゼーション モジュール (DTIEM) を提案します。最後に、各知識学習は個々の損失関数によって監視され、学生ネットワークはより広い観点から教師をよりよく模倣するように強制されます。実験は、提案された方法がCityscapes、Pascal VOC 2012、およびADE20Kデータセットで最先端のパフォーマンスを達成することを示しています。
Existing knowledge distillation works for semantic segmentation mainly focus on transferring high-level contextual knowledge from teacher to student. However, low-level texture knowledge is also of vital importance for characterizing the local structural pattern and global statistical property, such as boundary, smoothness, regularity and color contrast, which may not be well addressed by high-level deep features. In this paper, we are intended to take full advantage of both structural and statistical texture knowledge and propose a novel Structural and Statistical Texture Knowledge Distillation (SSTKD) framework for semantic segmentation. Specifically, for structural texture knowledge, we introduce a Contourlet Decomposition Module (CDM) that decomposes low-level features with iterative Laplacian pyramid and directional filter bank to mine the structural texture knowledge. For statistical knowledge, we propose a Denoised Texture Intensity Equalization Module (DTIEM) to adaptively extract and enhance statistical texture knowledge through heuristics iterative quantization and denoised operation. Finally, each knowledge learning is supervised by an individual loss function, forcing the student network to mimic the teacher better from a broader perspective. Experiments show that the proposed method achieves state-of-the-art performance on Cityscapes, Pascal VOC 2012 and ADE20K datasets.
updated: Thu Jul 06 2023 02:43:50 GMT+0000 (UTC)
published: Sat May 06 2023 06:01:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト