器具の使用を術中に予測することは、手術における状況に応じた支援に必要な要素です。機器の準備またはロボットタスクの半自動化。ただし、長いビデオで発生する楽器の数が少ないことは困難です。現在のアプローチは、将来の行動のタイミングに関する知識を想定しているため、またはトレーニングや推論の際に密な時間的セグメンテーションを必要とするため、制限されています。これらの制限を克服する腹腔鏡ビデオでの器具の使用を見越して、新しい学習タスクを提案します。トレーニング中は、スパース機器の注釈のみが必要であり、推論は画像データのみで行われます。将来のイベントに関連する不確実性に対処するために、確率モデルをトレーニングします。私たちのアプローチは、いくつかのベースラインよりも優れており、より豊富なアノテーションを使用したバリアントに対して競争力があります。タスクに関連する不確実性を定量化するモデルの機能を示します。私たちの知る限りでは、手術における器具を予測する方法を最初に提案しました。
Intra-operative anticipation of instrument usage is a necessary component for context-aware assistance in surgery, e.g. for instrument preparation or semi-automation of robotic tasks. However, the sparsity of instrument occurrences in long videos poses a challenge. Current approaches are limited as they assume knowledge on the timing of future actions or require dense temporal segmentations during training and inference. We propose a novel learning task for anticipation of instrument usage in laparoscopic videos that overcomes these limitations. During training, only sparse instrument annotations are required and inference is done solely on image data. We train a probabilistic model to address the uncertainty associated with future events. Our approach outperforms several baselines and is competitive to a variant using richer annotations. We demonstrate the model's ability to quantify task-relevant uncertainties. To the best of our knowledge, we are the first to propose a method for anticipating instruments in surgery.