arXiv reaDer
熱センサー補助ラベルを使用した生理学的評価のための熱人間の顔の生成
Generating Thermal Human Faces for Physiological Assessment Using Thermal Sensor Auxiliary Labels
熱画像は、人間のストレス、炎症の兆候、および目に見える画像では見ることができない感情的な気分に関する医学的に重要な生理学的情報を明らかにします。可視画像から熱面を生成する方法を提供することは、この医療情報を表示するために遠隔医療コミュニティにとって非常に価値があります。私たちの知る限り、可視から熱(VT)の顔の変換に関する作業は限られており、現在の多くの作業は、法執行アプリケーションの熱監視画像(TV)から可視の顔を生成するために反対方向に進んでいます。その結果、可視画像から熱面を生成するための補助センサーラベル予測ネットワークを備えたpix2pix画像変換モデルを使用するVTGANであるfavtGANを紹介します。ほとんどのTVメソッドは、1つの熱センサーから抽出された1つのデータソースでのみトレーニングされるため、顔と都市の景観からのデータセットを組み合わせます。これらの結合されたデータは、トレーニングと転送学習タスクをブートストラップするために同様のセンサーからキャプチャされます。可視熱顔データセットが限られているため、特に価値があります。これらの組み合わされたデータセットでの実験は、favtGANが、単一の顔のデータセットのみでのトレーニングと比較して、生成された熱面のSSIMおよびPSNRスコアの増加を示していることを示しています。
Thermal images reveal medically important physiological information about human stress, signs of inflammation, and emotional mood that cannot be seen on visible images. Providing a method to generate thermal faces from visible images would be highly valuable for the telemedicine community in order to show this medical information. To the best of our knowledge, there are limited works on visible-to-thermal (VT) face translation, and many current works go the opposite direction to generate visible faces from thermal surveillance images (TV) for law enforcement applications. As a result, we introduce favtGAN, a VT GAN which uses the pix2pix image translation model with an auxiliary sensor label prediction network for generating thermal faces from visible images. Since most TV methods are trained on only one data source drawn from one thermal sensor, we combine datasets from faces and cityscapes. These combined data are captured from similar sensors in order to bootstrap the training and transfer learning task, especially valuable because visible-thermal face datasets are limited. Experiments on these combined datasets show that favtGAN demonstrates an increase in SSIM and PSNR scores of generated thermal faces, compared to training on a single face dataset alone.
updated: Tue Jun 15 2021 12:32:52 GMT+0000 (UTC)
published: Tue Jun 15 2021 12:32:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト