セマンティックセグメンテーションの現在のニューラルネットワークは、通常、画像のダウンサンプリングされたグリッド上のピクセル単位のセマンティクスを予測して、密なマップの計算コストを軽減します。ただし、結果として得られるセグメンテーションマップの精度も、特にオブジェクトの境界に近い領域でダウングレードされる可能性があります。この論文では、ダウンサンプリングされたグリッドのサンプリング効率についてより深く調査することを進めます。周波数領域でネットワークのバックプロパゲーションプロセスを分析するスペクトル分析を適用することにより、クロスエントロピーは主にセグメンテーションマップの低周波数成分とCNNの機能の低周波数成分によってもたらされることがわかります。ダウンサンプリングされたグリッドの解像度がカットオフ周波数を満たしている限り、ネットワークパフォーマンスは維持されます。このような発見により、CNNの特徴サイズを制限し、関連する高周波成分を除去する、シンプルで効果的な特徴切り捨て方法を提案することができます。この方法は、計算コストを削減するだけでなく、セマンティックセグメンテーションネットワークのパフォーマンスを維持することもできます。さらに、この方法を一般的なネットワークプルーニングアプローチとシームレスに統合して、モデルをさらに削減することができます。一方、セグメンテーションマップの低頻度情報をキャプチャし、収集しやすいセマンティックセグメンテーションのブロック単位の弱い注釈を従業員に提案します。提案された分析スキームを使用すると、ブロックごとの注釈と特徴の切り捨て方法の有効性を簡単に見積もることができます。
The current neural networks for semantic segmentation usually predict the pixel-wise semantics on the down-sampled grid of images to alleviate the computational cost for dense maps. However, the accuracy of resultant segmentation maps may also be down graded particularly in the regions near object boundaries. In this paper, we advance to have a deeper investigation on the sampling efficiency of the down-sampled grid. By applying the spectral analysis that analyze on the network back propagation process in frequency domain, we discover that cross-entropy is mainly contributed by the low-frequency components of segmentation maps, as well as that of the feature in CNNs. The network performance maintains as long as the resolution of the down sampled grid meets the cut-off frequency. Such finding leads us to propose a simple yet effective feature truncation method that limits the feature size in CNNs and removes the associated high-frequency components. This method can not only reduce the computational cost but also maintain the performance of semantic segmentation networks. Moreover, one can seamlessly integrate this method with the typical network pruning approaches for further model reduction. On the other hand, we propose to employee a block-wise weak annotation for semantic segmentation that captures the low-frequency information of the segmentation map and is easy to collect. Using the proposed analysis scheme, one can easily estimate the efficacy of the block-wise annotation and the feature truncation method.