arXiv reaDer
類似性を意識した機能拡張を備えた数ショットのオブジェクトカウント
Few-shot Object Counting with Similarity-Aware Feature Enhancement
この作業は、クエリ画像で発生する模範的なオブジェクト(つまり、1つまたは複数のサポート画像によって記述される)の数をカウントする、数ショットのオブジェクトカウントの問題を研究します。主な課題は、ターゲットオブジェクトをクエリ画像に密に詰め込むことができ、すべてのオブジェクトを認識しにくくすることです。障害に取り組むために、類似性比較モジュール(SCM)と機能拡張モジュール(FEM)を備えた新しい学習ブロックを提案します。具体的には、サポート画像とクエリ画像が与えられた場合、最初に、すべての空間位置でそれらの投影された特徴を比較することによってスコアマップを導き出します。すべてのサポート画像に関するスコアマップが一緒に収集され、模範次元と空間次元の両方で正規化され、信頼性の高い類似性マップが作成されます。次に、開発されたポイントごとの類似性を重み係数として使用することにより、クエリ機能をサポート機能で拡張します。このような設計により、モデルはサポート画像に類似した領域に焦点を当てることでクエリ画像を検査するようになり、さまざまなオブジェクト間の境界がはるかに明確になります。さまざまなベンチマークとトレーニング設定に関する広範な実験は、私たちの方法が最先端のアプローチを十分に大きく上回っていることを示唆しています。たとえば、ごく最近の大規模なFSC-147データセットでは、平均絶対カウントエラーを22.08から14.32(35%\ uparrow)に改善することで、2番目の競合他社を打ち負かしました。
This work studies the problem of few-shot object counting, which counts the number of exemplar objects (i.e., described by one or several support images) occurring in the query image. The major challenge lies in that the target objects can be densely packed in the query image, making it hard to recognize every single one. To tackle the obstacle, we propose a novel learning block, equipped with a similarity comparison module (SCM) and a feature enhancement module (FEM). Concretely, given a support image and a query image, we first derive a score map by comparing their projected features at every spatial position. The score maps regarding all support images are collected together and normalized across both the exemplar dimension and the spatial dimensions, producing a reliable similarity map. We then enhance the query feature with the support features by employing the developed point-wise similarities as the weighting coefficients. Such a design encourages the model to inspect the query image by focusing more on the regions akin to the support images, leading to much clearer boundaries between different objects. Extensive experiments on various benchmarks and training setups suggest that our method surpasses the state-of-the-art approaches by a sufficiently large margin. For instance, on the very recent large-scale FSC-147 dataset, we beat the second competitor by improving the mean absolute counting error from 22.08 to 14.32 (35% \uparrow).
updated: Tue Mar 15 2022 07:12:52 GMT+0000 (UTC)
published: Sat Jan 22 2022 03:27:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト