arXiv reaDer
Quadtree Generating Networks: Efficient Hierarchical Scene Parsing with Sparse Convolutions
  畳み込みニューラルネットワークによるセマンティックセグメンテーションは、特徴マップと出力予測の空間分解能が高いため、メモリ集約型のタスクです。この論文では、最新のセマンティックセグメンテーションネットワークのメモリフットプリントを大幅に削減できる新しいアプローチであるQuadtree Generating Networks(QGN)を紹介します。重要な考え方は、密なピクセルグリッドの代わりに、予測とターゲットセグメンテーションマスクを表すためにクアッドツリーを使用することです。クアッドツリー表現を使用すると、入力画像の階層処理が可能になり、最も計算負荷の高いレイヤーは、クラス間の境界を含む画像の領域でのみ使用されます。さらに、訓練されたモデルが与えられると、この表現により、精度と計算コストをトレードオフする柔軟な推論スキームが可能になり、ネットワークが組み込みデバイスなどの制約のある状況に適応できるようになります。 Cityscapes、SUN-RGBD、およびADE20kデータセットでのアプローチの利点を示します。 Cityscapesでは、メモリ消費量が同様の拡張ネットワークと比較して、3%のmIoUの改善が比較的得られます。大規模な拡張ネットワークと比較して3%の相対的なmIoUドロップのみを受け取り、メモリ消費を4 $ \ times $以上削減します。
Semantic segmentation with Convolutional Neural Networks is a memory-intensive task due to the high spatial resolution of feature maps and output predictions. In this paper, we present Quadtree Generating Networks (QGNs), a novel approach able to drastically reduce the memory footprint of modern semantic segmentation networks. The key idea is to use quadtrees to represent the predictions and target segmentation masks instead of dense pixel grids. Our quadtree representation enables hierarchical processing of an input image, with the most computationally demanding layers only being used at regions in the image containing boundaries between classes. In addition, given a trained model, our representation enables flexible inference schemes to trade-off accuracy and computational cost, allowing the network to adapt in constrained situations such as embedded devices. We demonstrate the benefits of our approach on the Cityscapes, SUN-RGBD and ADE20k datasets. On Cityscapes, we obtain an relative 3% mIoU improvement compared to a dilated network with similar memory consumption; and only receive a 3% relative mIoU drop compared to a large dilated network, while reducing memory consumption by over 4$\times$.
updated: Tue Sep 17 2019 18:58:50 GMT+0000 (UTC)
published: Sat Jul 27 2019 00:20:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト