医療用途でのロボットシステムのテレオペレーションには、オペレーターにとって安定した便利な視覚的フィードバックが必要です。遠隔地から視覚情報を配信するための最もアクセスしやすいアプローチは、カメラを使用して環境からビデオストリームを送信することです。ただし、このようなシステムは、カメラの解像度、限られた視点、雑然とした環境に敏感であり、人間のオペレーターに追加の精神的要求をもたらします。この論文は、拡張仮想環境(VE)に基づくテレオペレーションの新しいシステムを提案します。領域ベースの畳み込みニューラルネットワーク(R-CNN)を適用して、実験器具を検出し、リモート環境での位置を推定して、器用な遠隔操作に必要なVE内のデジタルツインをさらに表示します。実験の結果、開発したシステムにより、ロボットの操作がスムーズになり、試験管操作時のタスク実行時間が短縮されることがわかりました。さらに、参加者は、開発されたシステムを、カメラベースのテレオペレーションアプローチよりも精神的負担が少なく(11%)、タスクを完了するのに必要な労力が少ない(16%)と評価し、拡張VEでのパフォーマンスを高く評価しました。提案された技術は、感染性および有毒な試薬を使用して操作する場合、遠隔地での実験室試験の実施に潜在的に適用できます。
The teleoperation of robotic systems in medical applications requires stable and convenient visual feedback for the operator. The most accessible approach to delivering visual information from the remote area is using cameras to transmit a video stream from the environment. However, such systems are sensitive to the camera resolution, limited viewpoints, and cluttered environment bringing additional mental demands to the human operator. The paper proposes a novel system of teleoperation based on an augmented virtual environment (VE). The region-based convolutional neural network (R-CNN) is applied to detect the laboratory instrument and estimate its position in the remote environment to display further its digital twin in the VE, which is necessary for dexterous telemanipulation. The experimental results revealed that the developed system allows users to operate the robot smoother, which leads to a decrease in task execution time when manipulating test tubes. In addition, the participants evaluated the developed system as less mentally demanding (by 11%) and requiring less effort (by 16%) to accomplish the task than the camera-based teleoperation approach and highly assessed their performance in the augmented VE. The proposed technology can be potentially applied for conducting laboratory tests in remote areas when operating with infectious and poisonous reagents.