現代の外科手術は、医療スタッフ、患者、および機器間の絶え間なく変化する相互作用を含む、複雑で動的な環境で実行されます。したがって、手術室 (OR) の全体的なモデリングは、困難ではあるが不可欠な作業であり、手術チームのパフォーマンスを最適化し、患者の転帰を改善する新しい手術技術の開発を支援する可能性があります。エンティティがノードとして表され、エンティティ間の関係がエッジとして表されるセマンティック シーン グラフ (SGG) としての手術シーンの全体論的表現は、きめの細かいセマンティック OR 理解の有望な方向性です。より正確で一貫性のある全体的な OR モデリングのために、時間情報の使用を初めて提案します。具体的には、前の時間ステップのシーン グラフが現在の予測を導く時間表現として機能するメモリ シーン グラフを導入します。軽量メモリ シーン グラフの時間情報と点群や画像からの視覚情報をインテリジェントに融合するエンド ツー エンドのアーキテクチャを設計します。 4D-OR データセットでメソッドを評価し、一時性の統合により、マクロ F1 で +5% の増加と 0.88 の新しい SOTA を達成する、より正確で一貫した結果が得られることを示します。この作業により、メモリ シーン グラフを使用して手術履歴全体を表す道が開かれ、手術室での全体的な理解が向上します。メモリ表現としてシーン グラフを導入すると、多くの時間的理解タスクに役立つツールを提供できます。
Modern surgeries are performed in complex and dynamic settings, including ever-changing interactions between medical staff, patients, and equipment. The holistic modeling of the operating room (OR) is, therefore, a challenging but essential task, with the potential to optimize the performance of surgical teams and aid in developing new surgical technologies to improve patient outcomes. The holistic representation of surgical scenes as semantic scene graphs (SGG), where entities are represented as nodes and relations between them as edges, is a promising direction for fine-grained semantic OR understanding. We propose, for the first time, the use of temporal information for more accurate and consistent holistic OR modeling. Specifically, we introduce memory scene graphs, where the scene graphs of previous time steps act as the temporal representation guiding the current prediction. We design an end-to-end architecture that intelligently fuses the temporal information of our lightweight memory scene graphs with the visual information from point clouds and images. We evaluate our method on the 4D-OR dataset and demonstrate that integrating temporality leads to more accurate and consistent results achieving an +5% increase and a new SOTA of 0.88 in macro F1. This work opens the path for representing the entire surgery history with memory scene graphs and improves the holistic understanding in the OR. Introducing scene graphs as memory representations can offer a valuable tool for many temporal understanding tasks.