arXiv reaDer
TUNeS: ビデオベースの手術段階認識のためのセルフアテンションを備えた時間的 U-Net
TUNeS: A Temporal U-Net with Self-Attention for Video-based Surgical Phase Recognition
将来の手術室でコンテキスト認識型のコンピュータ支援を可能にするには、認知システムが医療チームによってどの手術フェーズが行われているかを自動的に理解する必要があります。手術段階認識の主な情報源は通常ビデオですが、これには 2 つの課題があります。ビデオ ストリームから意味のある特徴を抽出することと、一連の視覚的特徴における時間情報を効果的にモデル化することです。時間モデリングでは、長距離の依存関係を捕捉できるアテンション メカニズムが人気を集めています。この論文では、手術段階認識のための既存の時間モデルにおける注意のための設計の選択肢を調査し、局所的な注意や注意の重みの規則化に頼らない新しいアプローチを提案します。TUNeS は、自己注意を組み込んだ効率的でシンプルな時間モデルです。 U-Net のような構造の最も粗い段階。さらに、我々は、好ましくは長いビデオセグメント、すなわち、長い時間的コンテキストで、特徴抽出器、標準CNNをLSTMと一緒に訓練することを提案する。私たちの実験では、すべての時間モデルは、より長い時間コンテキストでトレーニングされた特徴抽出器の上でより良いパフォーマンスを発揮しました。これらのコンテキスト化された機能に加えて、TUNeS は Cholec80 で最先端の結果を達成します。
To enable context-aware computer assistance in the operating room of the future, cognitive systems need to understand automatically which surgical phase is being performed by the medical team. The primary source of information for surgical phase recognition is typically video, which presents two challenges: extracting meaningful features from the video stream and effectively modeling temporal information in the sequence of visual features. For temporal modeling, attention mechanisms have gained popularity due to their ability to capture long-range dependencies. In this paper, we explore design choices for attention in existing temporal models for surgical phase recognition and propose a novel approach that does not resort to local attention or regularization of attention weights: TUNeS is an efficient and simple temporal model that incorporates self-attention at the coarsest stage of a U-Net-like structure. In addition, we propose to train the feature extractor, a standard CNN, together with an LSTM on preferably long video segments, i.e., with long temporal context. In our experiments, all temporal models performed better on top of feature extractors that were trained with longer temporal context. On top of these contextualized features, TUNeS achieves state-of-the-art results on Cholec80.
updated: Wed Jul 19 2023 14:10:55 GMT+0000 (UTC)
published: Wed Jul 19 2023 14:10:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト