arXiv reaDer
セグメンテーション トランスフォーマー: セマンティック セグメンテーションのためのオブジェクト-コンテキスト表現
Segmentation Transformer: Object-Contextual Representations for Semantic Segmentation
本論文では、文脈集約戦略に焦点を当てて、セマンティック・セグメンテーション問題に取り組む。我々の動機は、ピクセルのラベルは、そのピクセルが属するオブジェクトのカテゴリである、ということである。我々は、シンプルかつ効果的なアプローチである、オブジェクト-コンテキスト表現を提示し、対応するオブジェクトクラスの表現を利用してピクセルを特徴付ける。まず、正解のセグメンテーションを教師にして、オブジェクト領域を学習する。次に、オブジェクト領域に存在するピクセルの表現を集約することで、オブジェクト領域の表現を計算する。最後に、表現の類似性を利用して、各画素と各オブジェクト領域との関係を計算し、各画素の表現に、その画素との関係に応じてすべてのオブジェクト領域の表現を加重集約したオブジェクト-コンテキスト表現を追加する。提案手法は、様々なセマンティックセグメンテーションのベンチマーク、Cityscapes、ADE20K, LIP、PASCAL-Context、COCO-Stuffにおいて、競争力のある性能を達成することを実証した。我々が提出した「HRNet + OCR + SegFix」は、提出時までにCityscapesのリーダーボードで1位を獲得している。コードは と で公開されている。我々は、トランスフォーマーのエンコーダ・デコーダフレームワークを使用して、オブジェクト・コンテキスト表現スキームを言い換える。詳細は第3.3章で説明される。
In this paper, we address the semantic segmentation problem with a focus on the context aggregation strategy. Our motivation is that the label of a pixel is the category of the object that the pixel belongs to. We present a simple yet effective approach, object-contextual representations, characterizing a pixel by exploiting the representation of the corresponding object class. First, we learn object regions under the supervision of ground-truth segmentation. Second, we compute the object region representation by aggregating the representations of the pixels lying in the object region. Last, % the representation similarity we compute the relation between each pixel and each object region and augment the representation of each pixel with the object-contextual representation which is a weighted aggregation of all the object region representations according to their relations with the pixel. We empirically demonstrate that the proposed approach achieves competitive performance on various challenging semantic segmentation benchmarks: Cityscapes, ADE20K, LIP, PASCAL-Context, and COCO-Stuff. Cityscapes, ADE20K, LIP, PASCAL-Context, and COCO-Stuff. Our submission "HRNet + OCR + SegFix" achieves 1-st place on the Cityscapes leaderboard by the time of submission. Code is available at: and We rephrase the object-contextual representation scheme using the Transformer encoder-decoder framework. The details are presented in~Section3.3.
updated: Fri Apr 30 2021 16:42:15 GMT+0000 (UTC)
published: Tue Sep 24 2019 17:39:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト