arXiv reaDer
ProposalCLIP:CLIPキューの活用による教師なしオープンカテゴリオブジェクト提案の生成
ProposalCLIP: Unsupervised Open-Category Object Proposal Generation via Exploiting CLIP Cues
オブジェクト提案の生成は、コンピュータビジョンにおける重要かつ基本的なタスクです。本論文では、教師なしオープンカテゴリオブジェクト提案生成に向けた方法であるProposalCLIPを提案します。多数のバウンディングボックスアノテーションを必要とする、および/または限られたオブジェクトカテゴリのプロポーザルのみを生成できる以前の作品とは異なり、ProposalCLIPは、CLIP(対照言語-画像プレ-トレーニング)手がかり。まず、教師なしオープンカテゴリの提案生成についてCLIPを分析し、提案の選択に関する経験的分析に基づいて客観性スコアを設計します。次に、CLIPキューの制限を解決し、断片化された提案をマージするために、グラフベースのマージモジュールが提案されます。最後に、CLIPキューに基づいて疑似ラベルを抽出し、軽量ネットワークをトレーニングして提案をさらに洗練する提案回帰モジュールを紹介します。 PASCAL VOC、COCO、およびVisual Genomeデータセットに関する広範な実験により、ProposalCLIPは以前の最先端の方法よりも優れた提案を生成できることが示されています。 ProposalCLIPは、教師なしオブジェクトの検出など、ダウンストリームタスクの利点も示しています。
Object proposal generation is an important and fundamental task in computer vision. In this paper, we propose ProposalCLIP, a method towards unsupervised open-category object proposal generation. Unlike previous works which require a large number of bounding box annotations and/or can only generate proposals for limited object categories, our ProposalCLIP is able to predict proposals for a large variety of object categories without annotations, by exploiting CLIP (contrastive language-image pre-training) cues. Firstly, we analyze CLIP for unsupervised open-category proposal generation and design an objectness score based on our empirical analysis on proposal selection. Secondly, a graph-based merging module is proposed to solve the limitations of CLIP cues and merge fragmented proposals. Finally, we present a proposal regression module that extracts pseudo labels based on CLIP cues and trains a lightweight network to further refine proposals. Extensive experiments on PASCAL VOC, COCO and Visual Genome datasets show that our ProposalCLIP can better generate proposals than previous state-of-the-art methods. Our ProposalCLIP also shows benefits for downstream tasks, such as unsupervised object detection.
updated: Tue Jan 18 2022 01:51:35 GMT+0000 (UTC)
published: Tue Jan 18 2022 01:51:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト