自己教師ありマルチモーダル学習は、複雑なシナリオの全体的な表現に成功しています。これは、複数の用途の広い複数のモダリティからの情報を統合するのに役立ちます。外科用ロボット工学におけるそのアプリケーションは、外科的プロセスの一般化された機械の理解を同時に開発し、一般に取得するのが難しい品質、専門家の注釈への依存を減らすことにつながる可能性があります。私たちは、ビデオと運動学から外科的ジェスチャーの表現を学習する、自己監視型のマルチモーダル表現学習パラダイムを開発します。手術ビデオからの表現をエンコードし、それらをデコードして運動学を生成するエンコーダーデコーダーネットワーク構成を使用します。ジェスチャ認識(69.6%〜77.8%の精度)、複数のタスク間での学習の転送(44.6%〜64.8%の精度)、および外科医のスキル分類(76.8%〜81.2の精度)に対する学習済み表現の有効性を定量的に示します。 %)。さらに、私たちの自己監視表現が意味的に意味のあるプロパティ(外科医のスキルとジェスチャー)にクラスター化することを定性的に示します。
Self-supervised, multi-modal learning has been successful in holistic representation of complex scenarios. This can be useful to consolidate information from multiple modalities which have multiple, versatile uses. Its application in surgical robotics can lead to simultaneously developing a generalised machine understanding of the surgical process and reduce the dependency on quality, expert annotations which are generally difficult to obtain. We develop a self-supervised, multi-modal representation learning paradigm that learns representations for surgical gestures from video and kinematics. We use an encoder-decoder network configuration that encodes representations from surgical videos and decodes them to yield kinematics. We quantitatively demonstrate the efficacy of our learnt representations for gesture recognition (with accuracy between 69.6 % and 77.8 %), transfer learning across multiple tasks (with accuracy between 44.6 % and 64.8 %) and surgeon skill classification (with accuracy between 76.8 % and 81.2 %). Further, we qualitatively demonstrate that our self-supervised representations cluster in semantically meaningful properties (surgeon skill and gestures).