arXiv reaDer
ロングテールインスタンスセグメンテーションのためのフリーオブジェクトセグメントによる学習
Learning with Free Object Segments for Long-Tailed Instance Segmentation
複雑なシーンで多数のクラスのインスタンスセグメンテーションモデルを構築する際の基本的な課題の1つは、特にまれなオブジェクトのトレーニング例が不足していることです。このホワイトペーパーでは、面倒なデータ収集と注釈なしでトレーニング例を増やす可能性を探ります。 2つの洞察によれば、オブジェクト中心の画像から大量のインスタンスセグメントを自由に取得できる可能性があることがわかります。(i)オブジェクト中心の画像には通常、単純な背景に1つの顕著なオブジェクトが含まれています。 (ii)同じクラスのオブジェクトは、多くの場合、背景と同様の外観または同様のコントラストを共有します。これらの洞察に動機付けられて、ロングテールインスタンスセグメンテーションでのモデルトレーニングを容易にするために、これらの「フリー」オブジェクトフォアグラウンドセグメントを抽出および活用するためのシンプルでスケーラブルなフレームワークFreeSegを提案します。具体的には、同じクラスのオブジェクト中心の画像間の類似性を調査して、前景インスタンスの候補セグメントを提案し、続いてセグメント品質の新しいランキングを提案します。結果として得られる高品質のオブジェクトセグメントを使用して、既存のロングテールデータセットを拡張できます。たとえば、セグメントをコピーして元のトレーニング画像に貼り付けることができます。広範な実験により、FreeSegは強力なベースラインに加えて大幅な改善をもたらし、まれなオブジェクトカテゴリをセグメント化するための最先端の精度を達成することが示されています。
One fundamental challenge in building an instance segmentation model for a large number of classes in complex scenes is the lack of training examples, especially for rare objects. In this paper, we explore the possibility to increase the training examples without laborious data collection and annotation. We find that an abundance of instance segments can potentially be obtained freely from object-centric images, according to two insights: (i) an object-centric image usually contains one salient object in a simple background; (ii) objects from the same class often share similar appearances or similar contrasts to the background. Motivated by these insights, we propose a simple and scalable framework FreeSeg for extracting and leveraging these "free" object foreground segments to facilitate model training in long-tailed instance segmentation. Concretely, we investigate the similarity among object-centric images of the same class to propose candidate segments of foreground instances, followed by a novel ranking of segment quality. The resulting high-quality object segments can then be used to augment the existing long-tailed datasets, e.g., by copying and pasting the segments onto the original training images. Extensive experiments show that FreeSeg yields substantial improvements on top of strong baselines and achieves state-of-the-art accuracy for segmenting rare object categories.
updated: Tue Mar 29 2022 03:31:39 GMT+0000 (UTC)
published: Tue Feb 22 2022 19:06:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト