この論文は、静止画像における視覚認識のための新しいキーポイントベースの注意メカニズムを提示します。特徴的なクラスの画像を認識するためのDeepConvolutional Neural Networks(CNN)は大きな成功を収めていますが、きめ細かい変化を識別するパフォーマンスは同じレベルではありません。これに対処するために、エンドツーエンドのCNNモデルを提案します。このモデルは、新しい注意メカニズムを使用して、きめ細かい変更をリンクする意味のある機能を学習します。セマンティック領域(SR)とその空間分布を特定することにより、画像内の空間構造をキャプチャし、画像の微妙な変化をモデル化するための鍵となることが証明されています。特定の画像で検出されたキーポイントをグループ化することにより、これらのSRを自動的に識別します。画像認識のためのこれらのSRの「有用性」は、特定のタスクに最も関連する画像の部分に焦点を当てた革新的な注意メカニズムを使用して測定されます。このフレームワークは、従来のきめ細かい画像認識タスクに適用され、学習と予測のために手動で注釈が付けられた領域(たとえば、体の部分、オブジェクトなどのバウンディングボックス)を必要としません。さらに、提案されたキーポイント駆動型アテンションメカニズムは、既存のCNNモデルに簡単に統合できます。フレームワークは、6つの多様なベンチマークデータセットで評価されます。このモデルは、注意散漫な運転手V1(Acc:3.39%)、注意散漫な運転手V2(Acc:6.58%)、スタンフォード-40アクション(mAP:2.15%)、People Playingを使用して、最先端のアプローチを大幅に上回っています。楽器(mAP:16.05%)、Food-101(Acc:6.30%)、Caltech-256(Acc:2.59%)のデータセット。
This paper presents a novel keypoints-based attention mechanism for visual recognition in still images. Deep Convolutional Neural Networks (CNNs) for recognizing images with distinctive classes have shown great success, but their performance in discriminating fine-grained changes is not at the same level. We address this by proposing an end-to-end CNN model, which learns meaningful features linking fine-grained changes using our novel attention mechanism. It captures the spatial structures in images by identifying semantic regions (SRs) and their spatial distributions, and is proved to be the key to modelling subtle changes in images. We automatically identify these SRs by grouping the detected keypoints in a given image. The ``usefulness'' of these SRs for image recognition is measured using our innovative attentional mechanism focusing on parts of the image that are most relevant to a given task. This framework applies to traditional and fine-grained image recognition tasks and does not require manually annotated regions (e.g. bounding-box of body parts, objects, etc.) for learning and prediction. Moreover, the proposed keypoints-driven attention mechanism can be easily integrated into the existing CNN models. The framework is evaluated on six diverse benchmark datasets. The model outperforms the state-of-the-art approaches by a considerable margin using Distracted Driver V1 (Acc: 3.39%), Distracted Driver V2 (Acc: 6.58%), Stanford-40 Actions (mAP: 2.15%), People Playing Musical Instruments (mAP: 16.05%), Food-101 (Acc: 6.30%) and Caltech-256 (Acc: 2.59%) datasets.