痛みは世界的に深刻で費用のかかる問題ですが、治療するにはまず痛みを検出する必要があります。ビジョン トランスフォーマーは、コンピューター ビジョンで最も優れたアーキテクチャであり、痛みの検出への使用に関する研究はほとんどありません。このホワイトペーパーでは、顔の表情からのバイナリ痛み検出で最先端のパフォーマンスを実現する、最初の完全に注意深い自動痛み検出パイプラインを提案します。モデルは、顔が 3D 登録され、正規の正面図に回転された後、UNBC-McMaster データセットでトレーニングされます。私たちの実験では、ハイパーパラメータ空間の重要な領域と、それらのビジョンおよびビデオ ビジョン トランスフォーマーとの相互作用を特定し、3 つの注目すべきモデルを取得しました。モデルの 1 つのアテンション マップを分析し、その予測の合理的な解釈を見つけます。また、拡張手法である Mixup と最適化ツールである Sharpness-Aware Minimization も評価しましたが、成功しませんでした。私たちが提示したモデル、ViT-1 (F1 スコア 0.55 +- 0.15)、ViViT-1 (F1 スコア 0.55 +- 0.13)、および ViViT-2 (F1 スコア 0.49 +- 0.04) はすべて、以前の作品よりも優れており、痛み検出用のビジョン トランスフォーマー。コードは https://github.com/IPDTFE/ViT-McMaster で入手できます
Pain is a serious and costly issue globally, but to be treated, it must first be detected. Vision transformers are a top-performing architecture in computer vision, with little research on their use for pain detection. In this paper, we propose the first fully-attentive automated pain detection pipeline that achieves state-of-the-art performance on binary pain detection from facial expressions. The model is trained on the UNBC-McMaster dataset, after faces are 3D-registered and rotated to the canonical frontal view. In our experiments we identify important areas of the hyperparameter space and their interaction with vision and video vision transformers, obtaining 3 noteworthy models. We analyse the attention maps of one of our models, finding reasonable interpretations for its predictions. We also evaluate Mixup, an augmentation technique, and Sharpness-Aware Minimization, an optimizer, with no success. Our presented models, ViT-1 (F1 score 0.55 +- 0.15), ViViT-1 (F1 score 0.55 +- 0.13), and ViViT-2 (F1 score 0.49 +- 0.04), all outperform earlier works, showing the potential of vision transformers for pain detection. Code is available at https://github.com/IPDTFE/ViT-McMaster