arXiv reaDer
オブジェクトの発見と取得としての普遍的なインスタンスの認識
Universal Instance Perception as Object Discovery and Retrieval
すべてのインスタンス認識タスクは、カテゴリ名、言語表現、ターゲット アノテーションなど、いくつかのクエリによって指定された特定のオブジェクトを見つけることを目的としていますが、この完全なフィールドは複数の独立したサブタスクに分割されています。この作業では、UNINEXT と呼ばれる次世代の普遍的なインスタンス認識モデルを提示します。 UNINEXT は、多様なインスタンス認識タスクを統一されたオブジェクトの発見と検索のパラダイムに再定式化し、入力プロンプトを変更するだけでさまざまな種類のオブジェクトを柔軟に認識できます。この統一された定式化には、次の利点があります。(1) さまざまなタスクとラベル語彙からの膨大なデータを利用して、一般的なインスタンス レベルの表現を共同でトレーニングできます。これは、トレーニング データが不足しているタスクに特に有益です。 (2) 統一されたモデルはパラメーター効率が高く、複数のタスクを同時に処理するときに冗長な計算を節約できます。 UNINEXT は、従来の画像レベルのタスク (オブジェクトの検出とインスタンスのセグメンテーション)、視覚と言語のタスク (表現の理解とセグメンテーションを参照)、および 6 つのビデオレベルのオブジェクト追跡タスクを含む 10 のインスタンス レベルのタスクから 20 の困難なベンチマークで優れたパフォーマンスを示しています。 .コードは https://github.com/MasterBin-IIAU/UNINEXT で入手できます。
All instance perception tasks aim at finding certain objects specified by some queries such as category names, language expressions, and target annotations, but this complete field has been split into multiple independent subtasks. In this work, we present a universal instance perception model of the next generation, termed UNINEXT. UNINEXT reformulates diverse instance perception tasks into a unified object discovery and retrieval paradigm and can flexibly perceive different types of objects by simply changing the input prompts. This unified formulation brings the following benefits: (1) enormous data from different tasks and label vocabularies can be exploited for jointly training general instance-level representations, which is especially beneficial for tasks lacking in training data. (2) the unified model is parameter-efficient and can save redundant computation when handling multiple tasks simultaneously. UNINEXT shows superior performance on 20 challenging benchmarks from 10 instance-level tasks including classical image-level tasks (object detection and instance segmentation), vision-and-language tasks (referring expression comprehension and segmentation), and six video-level object tracking tasks. Code is available at https://github.com/MasterBin-IIAU/UNINEXT.
updated: Sun Mar 12 2023 14:28:24 GMT+0000 (UTC)
published: Sun Mar 12 2023 14:28:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト