バウンディングボックスアノテーションを使用した弱教師ありセグメンテーション方法は、オブジェクトを含む各ボックスからピクセルレベルのマスクを取得することに重点を置いています。既存のメソッドは通常、画像に固有の低レベルの情報を操作するクラスに依存しないマスクジェネレーターに依存しています。この作業では、オブジェクト検出器が画像全体とほぼ同じ結果を生成する画像の最小領域を探すことにより、トレーニングされたオブジェクト検出器の動作からのより高いレベルの情報を利用します。これらの領域は、境界ボックス属性マップ(BBAM)を構成します。これは、境界ボックス内のターゲットオブジェクトを識別し、したがって、弱く監視されたセマンティックおよびインスタンスセグメンテーションの疑似グラウンドトゥルースとして機能します。このアプローチは、弱く監視されたセマンティックおよびインスタンスのセグメンテーションにおいて、PASCALVOCおよびMSCOCOベンチマークの両方で最近の同等の手法を大幅に上回っています。さらに、私たちは私たちの方法の詳細な分析を提供し、BBAMの振る舞いについてより深い洞察を提供します。
Weakly supervised segmentation methods using bounding box annotations focus on obtaining a pixel-level mask from each box containing an object. Existing methods typically depend on a class-agnostic mask generator, which operates on the low-level information intrinsic to an image. In this work, we utilize higher-level information from the behavior of a trained object detector, by seeking the smallest areas of the image from which the object detector produces almost the same result as it does from the whole image. These areas constitute a bounding-box attribution map (BBAM), which identifies the target object in its bounding box and thus serves as pseudo ground-truth for weakly supervised semantic and instance segmentation. This approach significantly outperforms recent comparable techniques on both the PASCAL VOC and MS COCO benchmarks in weakly supervised semantic and instance segmentation. In addition, we provide a detailed analysis of our method, offering deeper insight into the behavior of the BBAM.