インスタンスのセグメンテーションはここ数年でかなりの進歩を遂げましたが、リアルタイムのパフォーマンスを備えた高精度のアルゴリズムを設計することは依然として課題です。この論文では、OrienMaskと呼ばれるリアルタイムのインスタンスセグメンテーションフレームワークを提案します。 1ステージオブジェクト検出器YOLOv3には、前景ピクセルと背景ピクセルの両方の空間オフセットベクトルとして明示的に定義されているいくつかの識別方向マップを予測するためにマスクヘッドが追加されています。オリエンテーションマップの識別能力のおかげで、余分な前景セグメンテーションを必要とせずにマスクを復元できます。同じアンカーサイズに一致するすべてのインスタンスは、共通の方向マップを共有します。この特別な共有戦略により、マスク予測の償却メモリ使用率が削減されますが、マスクの粒度が失われることはありません。 NMS後のボックス予測が残っている場合、インスタンスマスクは、対応する方向マップから複雑さを抑えて同時に構築できます。マスク表現の簡潔な設計とアンカーベースのオブジェクト検出器との効果的な統合により、当社の方法は、競争力のある精度を維持しながら、リアルタイム条件下で認定されます。 COCOベンチマークでの実験は、OrienMaskが単一のRTX 2080Tiで評価された42.7fpsの速度で34.8マスクAPを達成することを示しています。コードはhttps://github.com/duwt/OrienMaskで入手できます。
Although instance segmentation has made considerable advancement over recent years, it's still a challenge to design high accuracy algorithms with real-time performance. In this paper, we propose a real-time instance segmentation framework termed OrienMask. Upon the one-stage object detector YOLOv3, a mask head is added to predict some discriminative orientation maps, which are explicitly defined as spatial offset vectors for both foreground and background pixels. Thanks to the discrimination ability of orientation maps, masks can be recovered without the need for extra foreground segmentation. All instances that match with the same anchor size share a common orientation map. This special sharing strategy reduces the amortized memory utilization for mask predictions but without loss of mask granularity. Given the surviving box predictions after NMS, instance masks can be concurrently constructed from the corresponding orientation maps with low complexity. Owing to the concise design for mask representation and its effective integration with the anchor-based object detector, our method is qualified under real-time conditions while maintaining competitive accuracy. Experiments on COCO benchmark show that OrienMask achieves 34.8 mask AP at the speed of 42.7 fps evaluated with a single RTX 2080 Ti. The code is available at https://github.com/duwt/OrienMask.