COVID-19 のパンデミックに照らして、患者は毎日の酸素飽和度 (SpO2) と脈拍数 (PR) の値を健康監視システムに手動で入力する必要がありましたが、残念ながら、このようなプロセスは入力エラーになる傾向があります。いくつかの研究では、光学式文字認識 (OCR) を使用して、キャプチャされた画像から生理学的値を検出しようとしました。ただし、この技術は利用可能性が限られており、コストが高くなります。したがって、この研究は、低リソースのディープラーニングベースのコンピュータービジョンを使用して、PACMAN (Pandemic Accelerated Human-Machine Collaboration) と呼ばれる新しいフレームワークを提案することを目的としていました。パルスオキシメーターディスプレイからキャプチャされた画像の数字認識用の商用OCRツールを含む、最先端のオブジェクト検出アルゴリズム(スケーリングされたYOLOv4、YOLOv5、およびYOLOR)を比較しました。すべての画像は、さまざまな品質と配置でクラウドソーシングされたデータ コレクションから派生したものです。 YOLOv5 は、すべてのデータセット、特に正しい向きの画像データセットにわたる特定のモデル比較に対して最高のパフォーマンスを発揮するモデルでした。数字の自動方向付けアルゴリズムを使用してモデルのパフォーマンスをさらに改善し、クラスタリング アルゴリズムを適用して SpO2 値と PR 値を抽出しました。実装を使用した YOLOv5 の精度パフォーマンスは約 81.0 ~ 89.5% で、追加の実装がない場合と比較して向上しました。したがって、この研究では、実際のデータセットで数字を検出して読み取るための PACMAN フレームワークの完成が強調されました。提案されたフレームワークは現在、全国の病院で利用されている患者監視システムに統合されています。
In light of the COVID-19 pandemic, patients were required to manually input their daily oxygen saturation (SpO2) and pulse rate (PR) values into a health monitoring system-unfortunately, such a process trend to be an error in typing. Several studies attempted to detect the physiological value from the captured image using optical character recognition (OCR). However, the technology has limited availability with high cost. Thus, this study aimed to propose a novel framework called PACMAN (Pandemic Accelerated Human-Machine Collaboration) with a low-resource deep learning-based computer vision. We compared state-of-the-art object detection algorithms (scaled YOLOv4, YOLOv5, and YOLOR), including the commercial OCR tools for digit recognition on the captured images from pulse oximeter display. All images were derived from crowdsourced data collection with varying quality and alignment. YOLOv5 was the best-performing model against the given model comparison across all datasets, notably the correctly orientated image dataset. We further improved the model performance with the digits auto-orientation algorithm and applied a clustering algorithm to extract SpO2 and PR values. The accuracy performance of YOLOv5 with the implementations was approximately 81.0-89.5%, which was enhanced compared to without any additional implementation. Accordingly, this study highlighted the completion of PACMAN framework to detect and read digits in real-world datasets. The proposed framework has been currently integrated into the patient monitoring system utilized by hospitals nationwide.