arXiv reaDer
Visible-to-Thermal フェイシャル GAN が条件付き拡散を上回るとき
When Visible-to-Thermal Facial GAN Beats Conditional Diffusion
顔の熱画像は、可視スペクトルでは見えない赤外線スペクトルで放出された放射線を検出することにより、炎症やストレスなどの生理学的状態に関する貴重な洞察を提供します。遠隔医療アプリケーションは熱画像から恩恵を受ける可能性がありますが、従来のコンピューターは RGB カメラに依存しており、熱センサーがありません。その結果、スペクトル全体で顔領域の空間ドメインと周波数ドメインの両方を学習することにより、高解像度のサーマル顔を生成するように特別に設計された、Visible-to-Thermal Facial GAN (VTF-GAN) を提案します。 VTF-GAN を、いくつかの一般的な GAN ベースラインおよび VT 顔変換 (VTF-Diff) の最初の条件付きノイズ除去拡散確率モデル (DDPM) と比較します。結果は、VTF-GAN が、拡散を含むすべてのベースラインと比較して、パッチ、温度、知覚、およびフーリエ変換の損失を組み合わせたセットを使用して、高品質で鮮明で知覚的にリアルな熱面を実現することを示しています。
Thermal facial imagery offers valuable insight into physiological states such as inflammation and stress by detecting emitted radiation in the infrared spectrum, which is unseen in the visible spectra. Telemedicine applications could benefit from thermal imagery, but conventional computers are reliant on RGB cameras and lack thermal sensors. As a result, we propose the Visible-to-Thermal Facial GAN (VTF-GAN) that is specifically designed to generate high-resolution thermal faces by learning both the spatial and frequency domains of facial regions, across spectra. We compare VTF-GAN against several popular GAN baselines and the first conditional Denoising Diffusion Probabilistic Model (DDPM) for VT face translation (VTF-Diff). Results show that VTF-GAN achieves high quality, crisp, and perceptually realistic thermal faces using a combined set of patch, temperature, perceptual, and Fourier Transform losses, compared to all baselines including diffusion.
updated: Sat Feb 18 2023 18:02:31 GMT+0000 (UTC)
published: Sat Feb 18 2023 18:02:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト