arXiv reaDer
Double Similarity Distillation for Semantic Image Segmentation
高精度と高速のバランスは、セマンティック画像のセグメンテーションにおいて常に困難な作業でした。コンパクトなセグメンテーションネットワークは、リソースが限られている場合に広く使用されますが、パフォーマンスは制限されます。この論文では、残余学習とグローバル集約に動機付けられて、ピクセルとカテゴリの類似性知識をキャプチャすることにより、既存のすべてのコンパクトネットワークの分類精度を向上させる二重類似性蒸留(DSD)と呼ばれるシンプルでありながら一般的で効果的な知識蒸留フレームワークを提案します。それぞれの寸法。具体的には、残余注意マップを利用して複数のレイヤーにわたるより詳細な空間依存性をキャプチャするピクセル単位の類似性蒸留(PSD)モジュールを提案します。既存のメソッドと比較して、PSDモジュールは計算量を大幅に削減し、拡張が容易です。さらに、セマンティックセグメンテーションタスクと他のコンピュータビジョンタスクの特性の違いを考慮して、相関行列を構築することにより、コンパクトなセグメンテーションネットワークがグローバルカテゴリ相関を強化するのに役立つカテゴリワイズ類似性蒸留(CSD)モジュールを提案します。これら2つのモジュールを組み合わせると、DSDフレームワークには追加のパラメーターがなく、FLOPの増加は最小限に抑えられます。 Cityscapes、CamVid、ADE20K、Pascal VOC 2012を含む4つの挑戦的なデータセットに関する広範な実験は、DSDが現在の最先端の方法を上回り、その有効性と一般性を証明していることを示しています。コードとモデルは公開されます。
The balance between high accuracy and high speed has always been a challenging task in semantic image segmentation. Compact segmentation networks are more widely used in the case of limited resources, while their performances are constrained. In this paper, motivated by the residual learning and global aggregation, we propose a simple yet general and effective knowledge distillation framework called double similarity distillation (DSD) to improve the classification accuracy of all existing compact networks by capturing the similarity knowledge in pixel and category dimensions, respectively. Specifically, we propose a pixel-wise similarity distillation (PSD) module that utilizes residual attention maps to capture more detailed spatial dependencies across multiple layers. Compared with exiting methods, the PSD module greatly reduces the amount of calculation and is easy to expand. Furthermore, considering the differences in characteristics between semantic segmentation task and other computer vision tasks, we propose a category-wise similarity distillation (CSD) module, which can help the compact segmentation network strengthen the global category correlation by constructing the correlation matrix. Combining these two modules, DSD framework has no extra parameters and only a minimal increase in FLOPs. Extensive experiments on four challenging datasets, including Cityscapes, CamVid, ADE20K, and Pascal VOC 2012, show that DSD outperforms current state-of-the-art methods, proving its effectiveness and generality. The code and models will be publicly available.
updated: Mon Jul 19 2021 02:45:13 GMT+0000 (UTC)
published: Mon Jul 19 2021 02:45:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト