arXiv reaDer
Attention-based fusion of semantic boundary and non-boundary information to improve semantic segmentation
この論文は、深い畳み込みニューラルネットワーク内で行われる新しい融合スキームに基づく画像セマンティックセグメンテーションの方法を紹介します。私たちの提案の主な目標は、全体的なセグメンテーションのパフォーマンスを向上させるためにオブジェクトの境界情報を調査することです。境界とセグメンテーション機能を組み合わせた以前の作品、または境界情報を使用してセマンティックセグメンテーションを正規化する作品とは異なり、代わりに、境界情報をセグメンテーションに具体化する新しいアプローチを提案します。そのために、私たちのセマンティックセグメンテーション方法は2つのストリームを使用し、それらはアテンションゲートを介して結合され、エンドツーエンドのYモデルを形成します。私たちの知る限りでは、境界検出がセマンティックフュージョンゲート(注意モデル)を介して融合されたときにセマンティックセグメンテーションを改善できることを示す最初の作業です。私たちは、公開データセットに対して私たちの方法の広範な評価を行いました。同じトレーニング条件を考慮して、提案されたモデルを他の12の最先端のセグメンターと比較した後、すべてのデータセットで競合する結果が見つかりました。提案されたモデルは、CityScapes、CamVid、およびPascal Contextデータセットで最高のmIoUを達成し、MapillaryVistaで2番目に優れていました。
This paper introduces a method for image semantic segmentation grounded on a novel fusion scheme, which takes place inside a deep convolutional neural network. The main goal of our proposal is to explore object boundary information to improve the overall segmentation performance. Unlike previous works that combine boundary and segmentation features, or those that use boundary information to regularize semantic segmentation, we instead propose a novel approach that embodies boundary information onto segmentation. For that, our semantic segmentation method uses two streams, which are combined through an attention gate, forming an end-to-end Y-model. To the best of our knowledge, ours is the first work to show that boundary detection can improve semantic segmentation when fused through a semantic fusion gate (attention model). We performed an extensive evaluation of our method over public data sets. We found competitive results on all data sets after comparing our proposed model with other twelve state-of-the-art segmenters, considering the same training conditions. Our proposed model achieved the best mIoU on the CityScapes, CamVid, and Pascal Context data sets, and the second best on Mapillary Vistas.
updated: Thu Aug 05 2021 20:46:53 GMT+0000 (UTC)
published: Thu Aug 05 2021 20:46:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト