arXiv reaDer
辞書ガイド付きトランスフォーマーによるアンダーディスプレイカメラのブラインドフェイス復元
Blind Face Restoration for Under-Display Camera via Dictionary Guided Transformer
アンダーディスプレイ カメラ (UDC) は、前面カメラをディスプレイ パネルの下に隠すことで、ユーザーに全画面エクスペリエンスを提供します。ただし、UDC で撮影した画像はディスプレイの特性上、画質が大幅に劣化します。 UDC 画像復元に取り組む方法が提案され、進歩が達成されています。 UDC 顔画像を復元するための特殊な方法とデータセットはまだありません。これは、UDC シーンで最も一般的な問題と考えられます。この目的のために、UDCのイメージングプロセスにおけるカラーフィルタリング、輝度減衰、回折を考慮して、UDCイメージングのプロセスをモデル化してUDC画像を合成するためのUDC-DMNetと呼ばれる2段階ネットワークUDC劣化モデルネットワークを提案します。次に、UDC-DMNet と、FFHQ および CelebA-Test からの高品質の顔画像を使用して、UDC 顔トレーニング データセット FFHQ-P/T と、UDC 顔復元用のテスト データセット CelebA-Test-P/T を作成します。我々は、DGFormer という名前の新しい辞書ガイド型変換ネットワークを提案します。顔コンポーネント辞書と修復における UDC 画像の特徴の導入により、DGFormer は UDC シナリオでのブラインド顔修復に対応できるようになります。実験により、当社の DGFormer と UDC-DMNet が最先端のパフォーマンスを達成することが示されています。
By hiding the front-facing camera below the display panel, Under-Display Camera (UDC) provides users with a full-screen experience. However, due to the characteristics of the display, images taken by UDC suffer from significant quality degradation. Methods have been proposed to tackle UDC image restoration and advances have been achieved. There are still no specialized methods and datasets for restoring UDC face images, which may be the most common problem in the UDC scene. To this end, considering color filtering, brightness attenuation, and diffraction in the imaging process of UDC, we propose a two-stage network UDC Degradation Model Network named UDC-DMNet to synthesize UDC images by modeling the processes of UDC imaging. Then we use UDC-DMNet and high-quality face images from FFHQ and CelebA-Test to create UDC face training datasets FFHQ-P/T and testing datasets CelebA-Test-P/T for UDC face restoration. We propose a novel dictionary-guided transformer network named DGFormer. Introducing the facial component dictionary and the characteristics of the UDC image in the restoration makes DGFormer capable of addressing blind face restoration in UDC scenarios. Experiments show that our DGFormer and UDC-DMNet achieve state-of-the-art performance.
updated: Sun Aug 20 2023 08:02:23 GMT+0000 (UTC)
published: Sun Aug 20 2023 08:02:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト