弱教師付きオブジェクト ローカリゼーション (WSOL) で目覚ましい成功が達成されましたが、現在のフレームワークでは、オープン ワールド設定で新しいカテゴリのオブジェクトを見つけることができません。この問題に対処するために、OWSOL (Open-World Weakly-Supervised Object Localization) と呼ばれる新しい弱教師付きオブジェクト ローカリゼーション タスクを初めて導入しました。トレーニング中、すべてのラベル付きデータは既知のカテゴリから取得され、既知のカテゴリと新しいカテゴリの両方がラベルのないデータに存在します。このようなデータを処理するために、境界ボックスの注釈を必要とせずに、ラベル付けされたデータとラベル付けされていないデータの両方を使用して、オブジェクトのローカリゼーション用の完全な G-CAM (Generalized Class Activation Map) を生成する、対照的な表現の共同学習の新しいパラダイムを提案します。ラベル付けされていないデータにはクラス ラベルを使用できないため、完全なトレーニング セットに対してクラスタリングを実行し、表現学習用に複数のセマンティック セントロイド駆動型の対照的な損失を設計します。 ImageNet-1K と iNatLoc500 の 2 つの広く使用されているデータセットを再編成し、OpenImages150 を OWSOL の評価ベンチマークとして使用することを提案します。広範な実験により、提案された方法がすべてのベースラインを大幅に上回ることができることが実証されています。この作品は、クローズセットのローカリゼーションをオープンワールドの設定にシフトし、その後の作品の基盤として役立つと信じています.コードは https://github.com/ryylcc/OWSOL で公開されます。
While remarkable success has been achieved in weakly-supervised object localization (WSOL), current frameworks are not capable of locating objects of novel categories in open-world settings. To address this issue, we are the first to introduce a new weakly-supervised object localization task called OWSOL (Open-World Weakly-Supervised Object Localization). During training, all labeled data comes from known categories and, both known and novel categories exist in the unlabeled data. To handle such data, we propose a novel paradigm of contrastive representation co-learning using both labeled and unlabeled data to generate a complete G-CAM (Generalized Class Activation Map) for object localization, without the requirement of bounding box annotation. As no class label is available for the unlabelled data, we conduct clustering over the full training set and design a novel multiple semantic centroids-driven contrastive loss for representation learning. We re-organize two widely used datasets, i.e., ImageNet-1K and iNatLoc500, and propose OpenImages150 to serve as evaluation benchmarks for OWSOL. Extensive experiments demonstrate that the proposed method can surpass all baselines by a large margin. We believe that this work can shift the close-set localization towards the open-world setting and serve as a foundation for subsequent works. Code will be released at https://github.com/ryylcc/OWSOL.