arXiv reaDer
AIMS: 包括的なマルチレベルのセグメンテーション
AIMS: All-Inclusive Multi-Level Segmentation
視覚的エンティティを正確にセグメンテーションするための画像セグメンテーションは進歩しているにもかかわらず、異なるレベルの関心領域を選択するための画像編集アプリケーションのさまざまな要件を満たすことは未解決のままです。この論文では、視覚領域を部分、実体、関係 (何らかの意味的関係を持つ 2 つの実体) の 3 つのレベルに分割する新しいタスク、包括的マルチレベル セグメンテーション (AIMS) を提案します。また、アノテーションの不一致とタスクの相関性という 2 つの主要な課題に対処するために、マルチデータセットのマルチタスク トレーニングを通じて統合 AIMS モデルを構築します。具体的には、タスクの相補性、関連性、および 3 レベルの予測のためのプロンプト マスク エンコーダを提案します。広範な実験により、単一のデータセットまたは何かをセグメント化する同時作業に対する他の最先端の方法と比較して、私たちの方法の有効性と一般化能力が実証されています。コードとトレーニング モデルを公開します。
Despite the progress of image segmentation for accurate visual entity segmentation, completing the diverse requirements of image editing applications for different-level region-of-interest selections remains unsolved. In this paper, we propose a new task, All-Inclusive Multi-Level Segmentation (AIMS), which segments visual regions into three levels: part, entity, and relation (two entities with some semantic relationships). We also build a unified AIMS model through multi-dataset multi-task training to address the two major challenges of annotation inconsistency and task correlation. Specifically, we propose task complementarity, association, and prompt mask encoder for three-level predictions. Extensive experiments demonstrate the effectiveness and generalization capacity of our method compared to other state-of-the-art methods on a single dataset or the concurrent work on segmenting anything. We will make our code and training model publicly available.
updated: Sun May 28 2023 16:28:49 GMT+0000 (UTC)
published: Sun May 28 2023 16:28:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト