高度な人工知能と機械学習は、皮膚病変の検出、マッピング、追跡、文書化の方法を再定義する大きな可能性を秘めています。ここでは、皮膚病変の自動検出、評価、およびマッピングを可能にする 3DSkin-mapper として知られる 3D 全身イメージング システムを提案します。円筒形に配置されたモジュラー カメラ リグは、複数の角度から同期して被写体の皮膚表面全体の画像を自動的にキャプチャするように設計されています。画像に基づいて、深層畳み込みニューラル ネットワークに基づく 3D モデルの再構築、データ処理、皮膚病変の検出と追跡のためのアルゴリズムを開発しました。また、個人がインタラクティブに画像を視覚化し、操作し、注釈を付けることを可能にする、カスタマイズされた、ユーザーフレンドリーで適応可能なインターフェイスを導入しました。提案されたシステムは、皮膚病変のスクリーニング用に開発されたものであり、この論文の焦点は、臨床研究ではなくシステムを導入することです。合成画像と実際の画像を使用して、標的の皮膚病変の複数のビューを提供することにより、提案されたシステムの有効性を実証し、さらなる 3D ジオメトリ分析と縦方向の追跡を可能にします。皮膚表面全体をキャプチャするのに数秒しかかからず、画像の処理と分析に約 30 分かかります。私たちの実験は、提案されたシステムが高速で簡単な全身 3D イメージングを可能にすることを示しています。皮膚科クリニックで、皮膚スクリーニングの実施、経時的な皮膚病変の検出と追跡、疑わしい病変の特定、および色素性病変の記録に使用できます。このシステムは、臨床医の時間と労力を大幅に節約できる可能性があります。 3D イメージングと分析は、全身写真のパラダイムを変える可能性があり、炎症性疾患や色素性疾患などの皮膚疾患に多くの用途があります。
Advanced artificial intelligence and machine learning have great potential to redefine how skin lesions are detected, mapped, tracked and documented. Here, We propose a 3D whole-body imaging system known as 3DSkin-mapper to enable automated detection, evaluation and mapping of skin lesions. A modular camera rig arranged in a cylindrical configuration was designed to automatically capture images of the entire skin surface of a subject synchronously from multiple angles. Based on the images, we developed algorithms for 3D model reconstruction, data processing and skin lesion detection and tracking based on deep convolutional neural networks. We also introduced a customised, user-friendly, and adaptable interface that enables individuals to interactively visualise, manipulate, and annotate the images. The proposed system is developed for skin lesion screening, the focus of this paper is to introduce the system instead of clinical study. Using synthetic and real images we demonstrate the effectiveness of the proposed system by providing multiple views of a target skin lesion, enabling further 3D geometry analysis and longitudinal tracking. It takes only a few seconds to capture the entire skin surface, and about half an hour to process and analyse the images. Our experiments show that the proposed system allow fast and easy whole body 3D imaging. It can be used by dermatological clinics to conduct skin screening, detect and track skin lesions over time, identify suspicious lesions, and document pigmented lesions. The system can potentially save clinicians time and effort significantly. The 3D imaging and analysis has the potential to change the paradigm of whole body photography with many applications in skin diseases, including inflammatory and pigmentary disorders.