目覚ましい進歩を遂げたにもかかわらず、現在のマルチラベル画像認識 (MLR) アルゴリズムは、完全なラベルを持つ大規模なデータセットに大きく依存しているため、大規模なデータセットの収集には非常に時間と労力がかかります。部分ラベル (MLR-PL) を使用したマルチラベル画像認識モデルのトレーニングは、別の方法です。この方法では、画像ごとに一部のラベルのみが既知であり、他のラベルは不明です。ただし、現在の MLP-PL アルゴリズムは、事前にトレーニングされた画像類似性モデルに依存するか、画像分類モデルを繰り返し更新して未知のラベルの疑似ラベルを生成します。したがって、それらは一定量の注釈に依存し、特に既知のラベルの割合が低い場合、明らかにパフォーマンスが低下することは避けられません。このジレンマに対処するために、既知のラベルの情報を転送して未知のラベルを補完するために、インスタンスとプロトタイプの観点から、それぞれ異なる画像間で多粒度のカテゴリ固有のセマンティック表現をブレンドするデュアルパースペクティブセマンティック認識表現ブレンディング (DSRB) を提案します。 .具体的には、インスタンス パースペクティブ表現ブレンディング (IPRB) モジュールは、画像内の既知のラベルの表現を別の画像内の対応する未知のラベルの表現とブレンドして、これらの未知のラベルを補完するように設計されています。一方、プロトタイプ-パースペクティブ表現ブレンディング (PPRB) モジュールが導入され、各カテゴリのより安定した表現プロトタイプを学習し、未知のラベルの表現を対応するラベルのプロトタイプとブレンドして、位置に依存する方法で、これらの未知のラベルを補完します。 MS-COCO、Visual Genome、および Pascal VOC 2007 データセットに関する広範な実験により、提案された DSRB が、すべての既知のラベル比率設定で現在の最先端のアルゴリズムよりも一貫して優れていることが示されています。
Despite achieving impressive progress, current multi-label image recognition (MLR) algorithms heavily depend on large-scale datasets with complete labels, making collecting large-scale datasets extremely time-consuming and labor-intensive. Training the multi-label image recognition models with partial labels (MLR-PL) is an alternative way, in which merely some labels are known while others are unknown for each image. However, current MLP-PL algorithms rely on pre-trained image similarity models or iteratively updating the image classification models to generate pseudo labels for the unknown labels. Thus, they depend on a certain amount of annotations and inevitably suffer from obvious performance drops, especially when the known label proportion is low. To address this dilemma, we propose a dual-perspective semantic-aware representation blending (DSRB) that blends multi-granularity category-specific semantic representation across different images, from instance and prototype perspective respectively, to transfer information of known labels to complement unknown labels. Specifically, an instance-perspective representation blending (IPRB) module is designed to blend the representations of the known labels in an image with the representations of the corresponding unknown labels in another image to complement these unknown labels. Meanwhile, a prototype-perspective representation blending (PPRB) module is introduced to learn more stable representation prototypes for each category and blends the representation of unknown labels with the prototypes of corresponding labels, in a location-sensitive manner, to complement these unknown labels. Extensive experiments on the MS-COCO, Visual Genome, and Pascal VOC 2007 datasets show that the proposed DSRB consistently outperforms current state-of-the-art algorithms on all known label proportion settings.