arXiv reaDer
部分ラベルによるマルチラベル認識のための不均一セマンティック転送
Heterogeneous Semantic Transfer for Multi-label Recognition with Partial Labels
部分ラベルを使用したマルチラベル画像認識(MLR-PL)では、一部のラベルは既知であり、他のラベルは各画像で不明であるため、注釈のコストが大幅に削減され、大規模なMLRが容易になります。各画像内および異なる画像間で強い意味相関が存在することがわかります。これらの相関は、既知のラベルが持つ知識を転送して未知のラベルを取得し、MLR-PLタスクのパフォーマンスを向上させるのに役立ちます(図1を参照)。この作業では、既知のラベルが持つ知識を転送して未知のラベルの疑似ラベルを生成するために、画像内と画像間のセマンティック相関の両方を探索する2つの補完的な転送モジュールで構成される新しい異種セマンティック転送(HST)フレームワークを提案します。 。具体的には、画像内セマンティック転送(IST)モジュールは、各画像の画像固有のラベル共起行列を学習し、これらの行列に基づいて未知のラベルを補完するように既知のラベルをマッピングします。さらに、クロスイメージ転送(CST)モジュールは、カテゴリ固有の機能とプロトタイプの類似性を学習し、対応するプロトタイプとの類似性が高い未知のラベルを補完するのに役立ちます。最後に、既知の疑似ラベルと生成された疑似ラベルの両方を使用して、MLRモデルをトレーニングします。 Microsoft COCO、Visual Genome、およびPascal VOC 2007データセットで実施された広範な実験は、提案されたHSTフレームワークが現在の最先端のアルゴリズムよりも優れたパフォーマンスを達成することを示しています。具体的には、以前に開発された最高のアルゴリズムの結果に対して、3つのデータセットで1.4%、3.3%、および0.4%の平均平均精度(mAP)の改善が得られます。
Multi-label image recognition with partial labels (MLR-PL), in which some labels are known while others are unknown for each image, may greatly reduce the cost of annotation and thus facilitate large-scale MLR. We find that strong semantic correlations exist within each image and across different images, and these correlations can help transfer the knowledge possessed by the known labels to retrieve the unknown labels and thus improve the performance of the MLR-PL task (see Figure 1). In this work, we propose a novel heterogeneous semantic transfer (HST) framework that consists of two complementary transfer modules that explore both within-image and cross-image semantic correlations to transfer the knowledge possessed by known labels to generate pseudo labels for the unknown labels. Specifically, an intra-image semantic transfer (IST) module learns an image-specific label co-occurrence matrix for each image and maps the known labels to complement the unknown labels based on these matrices. Additionally, a cross-image transfer (CST) module learns category-specific feature-prototype similarities and then helps complement the unknown labels that have high degrees of similarity with the corresponding prototypes. Finally, both the known and generated pseudo labels are used to train MLR models. Extensive experiments conducted on the Microsoft COCO, Visual Genome, and Pascal VOC 2007 datasets show that the proposed HST framework achieves superior performance to that of current state-of-the-art algorithms. Specifically, it obtains mean average precision (mAP) improvements of 1.4%, 3.3%, and 0.4% on the three datasets over the results of the best-performing previously developed algorithm.
updated: Mon Jul 15 2024 14:32:29 GMT+0000 (UTC)
published: Mon May 23 2022 08:37:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト