手術活動のモデル化と自動認識は、手術の自動化に向けた基本的なステップであり、外科医にタイムリーなフィードバックを提供する上で重要な役割を果たします。ビデオで外科的活動を正確に認識することは、空間的ダイナミクスと時間的ダイナミクスの両方を学習する効果的な手段を必要とする困難な問題を引き起こします。人間の視線と視覚的顕著性は、視覚的注意に関する重要な情報を運び、これらの空間的および時間的ダイナミクスをより適切に反映する、より関連性の高い特徴を抽出するために使用できます。この研究では、手術ビデオの活動認識に時空間的注意メカニズムを備えた人間の視線を使用することを提案します。私たちのモデルは I3D ベースのアーキテクチャで構成され、3D 畳み込みを使用して時空間的特徴を学習し、人間の視線を監督として使用してアテンション マップを学習します。公開されている手術ビデオ理解データセットである JIGSAWS の縫合タスクでモデルを評価します。私たちの知る限り、外科手術の認識に人間の視線を使用したのは私たちが初めてです。私たちの結果とアブレーション研究は、85.4% の精度で最先端のモデルを凌駕することにより、人間の視線を使用して注意を誘導することの貢献を裏付けています。
Modeling and automatically recognizing surgical activities are fundamental steps toward automation in surgery and play important roles in providing timely feedback to surgeons. Accurately recognizing surgical activities in video poses a challenging problem that requires an effective means of learning both spatial and temporal dynamics. Human gaze and visual saliency carry important information about visual attention and can be used to extract more relevant features that better reflect these spatial and temporal dynamics. In this study, we propose to use human gaze with a spatio-temporal attention mechanism for activity recognition in surgical videos. Our model consists of an I3D-based architecture, learns spatio-temporal features using 3D convolutions, as well as learns an attention map using human gaze as supervision. We evaluate our model on the Suturing task of JIGSAWS which is a publicly available surgical video understanding dataset. To our knowledge, we are the first to use human gaze for surgical activity recognition. Our results and ablation studies support the contribution of using human gaze to guide attention by outperforming state-of-the art models with an accuracy of 85.4%.