我々は、トレーニングデータのキーポイントアノテーションの形で特権情報を使用して、小さなトレーニングセットや偏ったトレーニングセットから強力なモデルを学習する、教師付き画像分類のスキームを提案します。私たちの主な動機は、生物多様性モデリングなどの生態学的応用のための動物種の認識です。これは、希少種による尾の長い種の分布や、カメラ トラップの反復的なシーンの背景などの強いデータセットのバイアスのため、困難です。これらの課題に対処するために、重要なオブジェクト部分を強調表示するキーポイント注釈を介して監視される視覚的注意メカニズムを提案します。新しい特権プーリング操作として実装されたこの特権情報は、トレーニング中にのみ必要とされ、モデルが差別的な領域に焦点を当てるのに役立ちます。 3 つの異なる動物種のデータセットを使用した実験では、特権プーリングを備えたディープ ネットワークが小規模なトレーニング セットをより効率的に使用し、より適切に一般化できることを示しました。
We propose a scheme for supervised image classification that uses privileged information, in the form of keypoint annotations for the training data, to learn strong models from small and/or biased training sets. Our main motivation is the recognition of animal species for ecological applications such as biodiversity modelling, which is challenging because of long-tailed species distributions due to rare species, and strong dataset biases such as repetitive scene background in camera traps. To counteract these challenges, we propose a visual attention mechanism that is supervised via keypoint annotations that highlight important object parts. This privileged information, implemented as a novel privileged pooling operation, is only required during training and helps the model to focus on regions that are discriminative. In experiments with three different animal species datasets, we show that deep networks with privileged pooling can use small training sets more efficiently and generalize better.