arXiv reaDer
きめ細かなエンティティ セグメンテーション
Fine-Grained Entity Segmentation
高密度の画像セグメンテーション タスク (セマンティック、パノプティックなど) では、既存の方法では、目に見えない画像ドメイン、事前定義されたクラス、および画像の解像度と品質のバリエーションにうまく一般化することはほとんどできません。これらの観察に動機付けられて、大規模なエンティティ セグメンテーション データセットを構築し、オープン ワールドと高品質の高密度セグメンテーションに重点を置いて、きめの細かいエンティティ セグメンテーションを調査します。データセットには、さまざまな画像ドメインと解像度にわたる画像と、トレーニングとテスト用の高品質のマスク アノテーションが含まれています。データセットの高品質と高解像度の性質を考慮して、高品質のセグメンテーションのために CropFormer を提案します。これにより、完全な画像よりも細かい画像の詳細を提供する高解像度の画像トリミングを使用してマスク予測を改善できます。 CropFormer は、画像全体とそのトリミング全体で同じエンティティを関連付けることができるクエリを学習することにより、複数の画像トリミングからマスク予測を効果的にアンサンブルできる最初のクエリベースの Transformer アーキテクチャです。 CropFormer を使用すると、困難なきめの細かいエンティティ セグメンテーション タスクで 1.9 という大幅な AP ゲインを達成できます。データセットとコードは http://luqi.info/entityv2.github.io/ でリリースされます。
In dense image segmentation tasks (e.g., semantic, panoptic), existing methods can hardly generalize well to unseen image domains, predefined classes, and image resolution & quality variations. Motivated by these observations, we construct a large-scale entity segmentation dataset to explore fine-grained entity segmentation, with a strong focus on open-world and high-quality dense segmentation. The dataset contains images spanning diverse image domains and resolutions, along with high-quality mask annotations for training and testing. Given the high-quality and -resolution nature of the dataset, we propose CropFormer for high-quality segmentation, which can improve mask prediction using high-res image crops that provide more fine-grained image details than the full image. CropFormer is the first query-based Transformer architecture that can effectively ensemble mask predictions from multiple image crops, by learning queries that can associate the same entities across the full image and its crop. With CropFormer, we achieve a significant AP gain of 1.9 on the challenging fine-grained entity segmentation task. The dataset and code will be released at http://luqi.info/entityv2.github.io/.
updated: Sat Nov 12 2022 04:10:32 GMT+0000 (UTC)
published: Thu Nov 10 2022 18:58:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト