arXiv reaDer
少数ショット学習のためのクラスターパッチ要素接続
Clustered-patch Element Connection for Few-shot Learning
弱い特徴表現の問題は、長い間、少数ショット分類タスクのパフォーマンスに影響を与えてきました。この問題を軽減するために、最近の研究者は、パッチ機能を埋め込んで識別表現を生成することにより、サポートとクエリ インスタンス間の接続を構築します。ただし、ターゲット オブジェクトの位置とサイズが固定されていないため、これらのローカル パッチ間にセマンティックの不一致 (前景/背景) が存在することがわかります。さらに悪いことに、これらの不一致は信頼できない類似性の信頼性をもたらし、複雑で密な接続が問題を悪化させます。これによると、不一致の問題を修正するために、新しいクラスターパッチ要素接続(CEC)レイヤーを提案します。 CEC レイヤーは、パッチ クラスター操作と要素接続操作を利用して、それぞれ類似性の高いパッチ機能との信頼性の高い接続を収集および確立します。さらに、CECレイヤーベースのアテンションモジュールと距離メトリックを含むCECNetを提案します。前者は、グローバルなクラスター化パッチ機能の恩恵を受けるより識別可能な表現を生成するために利用され、後者は、ペア機能間の類似性を確実に測定するために導入されます。広範な実験により、当社の CECNet が分類ベンチマークで最先端の方法よりも優れていることが実証されています。さらに、当社の CEC アプローチは、数ショットのセグメンテーションおよび検出タスクに拡張でき、競争力のあるパフォーマンスを実現します。
Weak feature representation problem has influenced the performance of few-shot classification task for a long time. To alleviate this problem, recent researchers build connections between support and query instances through embedding patch features to generate discriminative representations. However, we observe that there exists semantic mismatches (foreground/ background) among these local patches, because the location and size of the target object are not fixed. What is worse, these mismatches result in unreliable similarity confidences, and complex dense connection exacerbates the problem. According to this, we propose a novel Clustered-patch Element Connection (CEC) layer to correct the mismatch problem. The CEC layer leverages Patch Cluster and Element Connection operations to collect and establish reliable connections with high similarity patch features, respectively. Moreover, we propose a CECNet, including CEC layer based attention module and distance metric. The former is utilized to generate a more discriminative representation benefiting from the global clustered-patch features, and the latter is introduced to reliably measure the similarity between pair-features. Extensive experiments demonstrate that our CECNet outperforms the state-of-the-art methods on classification benchmark. Furthermore, our CEC approach can be extended into few-shot segmentation and detection tasks, which achieves competitive performances.
updated: Wed Jul 17 2024 03:51:29 GMT+0000 (UTC)
published: Thu Apr 20 2023 05:22:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト