arXiv reaDer
DermSynth3D: 野生の注釈付き皮膚科画像の合成
DermSynth3D: Synthesis of in-the-wild Annotated Dermatology Images
近年、ディープラーニング(DL)は皮膚科画像解析の分野で大きな可能性を示しています。ただし、この領域の既存のデータセットには、画像サンプルの数が少ない、病状が限られていること、注釈が不十分であること、画像取得が標準化されていないことなど、重大な制限があります。これらの欠点に対処するために、私たちは DermSynth3D と呼ばれる新しいフレームワークを提案します。 DermSynth3D は、微分可能なレンダラーを使用して皮膚疾患のパターンを人物の 3D テクスチャメッシュにブレンドし、さまざまな背景シーンで選択された照明条件の下でさまざまなカメラの視点から 2D 画像を生成します。私たちの手法は、ブレンドとレンダリングのプロセスを制約するトップダウンのルールに従って、自然界での取得を模倣した皮膚状態の 2D 画像を作成し、より有意義な結果を保証します。このフレームワークは、写真のようにリアルな 2D ダーモスコピー画像と、皮膚、皮膚の状態、身体部分、病変周囲の境界ボックス、深度マップ、およびカメラ位置や照明条件などのその他の 3D シーン パラメーターのセマンティック セグメンテーションに対応する高密度の注釈を生成します。 DermSynth3D を使用すると、さまざまな皮膚科学タスク用のカスタム データセットを作成できます。合成データで DL モデルをトレーニングし、実際の 2D 皮膚科学画像を使用してさまざまな皮膚科学タスクで評価することにより、DermSynth3D を使用して生成されたデータの有効性を実証します。私たちはコードを https://github.com/sfu-mial/DermSynth3D で公開しています。
In recent years, deep learning (DL) has shown great potential in the field of dermatological image analysis. However, existing datasets in this domain have significant limitations, including a small number of image samples, limited disease conditions, insufficient annotations, and non-standardized image acquisitions. To address these shortcomings, we propose a novel framework called DermSynth3D. DermSynth3D blends skin disease patterns onto 3D textured meshes of human subjects using a differentiable renderer and generates 2D images from various camera viewpoints under chosen lighting conditions in diverse background scenes. Our method adheres to top-down rules that constrain the blending and rendering process to create 2D images with skin conditions that mimic in-the-wild acquisitions, ensuring more meaningful results. The framework generates photo-realistic 2D dermoscopy images and the corresponding dense annotations for semantic segmentation of the skin, skin conditions, body parts, bounding boxes around lesions, depth maps, and other 3D scene parameters, such as camera position and lighting conditions. DermSynth3D allows for the creation of custom datasets for various dermatology tasks. We demonstrate the effectiveness of data generated using DermSynth3D by training DL models on synthetic data and evaluating them on various dermatology tasks using real 2D dermatological images. We make our code publicly available at https://github.com/sfu-mial/DermSynth3D.
updated: Tue Mar 19 2024 19:42:14 GMT+0000 (UTC)
published: Mon May 22 2023 01:14:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト