arXiv reaDer
StructToken : Structural Prior を使用したセマンティック セグメンテーションの再考
StructToken : Rethinking Semantic Segmentation with Structural Prior
以前の深層学習ベースの方法では、セマンティック セグメンテーションは静的または動的なピクセルごとの分類タスク、つまり各ピクセル表現を特定のカテゴリに分類するものと見なされていました。ただし、これらの方法は、人間の意思決定メカニズムにとって重要なオブジェクトの構造情報を無視しながら、より良いピクセル表現または分類カーネルの学習にのみ焦点を当てています。この論文では、構造認識抽出と呼ばれるセマンティックセグメンテーションの新しいパラダイムを提示します。具体的には、一連の学習可能な構造トークンと画像特徴の間の相互作用を介してセグメンテーション結果を生成します。これは、特徴から各カテゴリの構造情報を段階的に抽出することを目的としています。広範な実験により、当社の StructToken は、ADE20K、Cityscapes、および COCO-Stuff-10K を含む 3 つの広く使用されているベンチマークで最先端のパフォーマンスを上回っていることが示されています。
In previous deep-learning-based methods, semantic segmentation has been regarded as a static or dynamic per-pixel classification task, i.e., classify each pixel representation to a specific category. However, these methods only focus on learning better pixel representations or classification kernels while ignoring the structural information of objects, which is critical to human decision-making mechanism. In this paper, we present a new paradigm for semantic segmentation, named structure-aware extraction. Specifically, it generates the segmentation results via the interactions between a set of learnable structure tokens and the image feature, which aims to progressively extract the structural information of each category from the feature. Extensive experiments show that our StructToken outperforms the state-of-the-art on three widely-used benchmarks, including ADE20K, Cityscapes, and COCO-Stuff-10K.
updated: Tue Aug 23 2022 08:52:28 GMT+0000 (UTC)
published: Wed Mar 23 2022 17:58:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト