セマンティック セグメンテーション ネットワークは、空間コンテキスト情報の不足が発生する画像分類ネットワークからの転移学習を採用しています。このため、入力次元を保持し、その空間コンテキストと豊富なセマンティック情報をバックボーン ネットワークと相互に常に通信することにより、空間コンテキストのバイパス ブランチである Spatial Context Memoization (SpaM) を提案します。セマンティック セグメンテーションのマルチスケール コンテキスト情報は、特定のシーン内のターゲット オブジェクトのさまざまなサイズと形状を処理するために重要です。従来のマルチスケール コンテキスト スキームは、複数の拡張率またはプーリング操作によって複数の有効な受容野を採用していますが、ターゲット ピクセルに関してミスアライメントの問題を抱えていることがよくあります。この目的のために、メッシュグリッドのような分散膨張率を持つ畳み込みを使用して、マルチスケール スキームをきめの細かいマルチスケール オブジェクト コンテキストにもたらす Meshgrid Atrous Convolution Consensus (MetroCon^2) を提案します。 SpaceMeshLab (ResNet-101 + SpaM + MetroCon^2) は、Cityscapes テストで 82.0% mIoU、Pascal-Context 検証セットで 53.5% mIoU を達成しました。
Semantic segmentation networks adopt transfer learning from image classification networks which occurs a shortage of spatial context information. For this reason, we propose Spatial Context Memoization (SpaM), a bypassing branch for spatial context by retaining the input dimension and constantly communicating its spatial context and rich semantic information mutually with the backbone network. Multi-scale context information for semantic segmentation is crucial for dealing with diverse sizes and shapes of target objects in the given scene. Conventional multi-scale context scheme adopts multiple effective receptive fields by multiple dilation rates or pooling operations, but often suffer from misalignment problem with respect to the target pixel. To this end, we propose Meshgrid Atrous Convolution Consensus (MetroCon^2) which brings multi-scale scheme into fine-grained multi-scale object context using convolutions with meshgrid-like scattered dilation rates. SpaceMeshLab (ResNet-101 + SpaM + MetroCon^2) achieves 82.0% mIoU in Cityscapes test and 53.5% mIoU on Pascal-Context validation set.