フルスクリーンデバイスの新しいトレンドは、カメラをスクリーンの後ろに配置することを奨励しています。ベゼルを取り外し、カメラを画面の下に集中させると、ディスプレイとボディの比率が大きくなり、ビデオチャットでのアイコンタクトが向上しますが、画像の劣化も引き起こします。この論文では、新しい実世界の単一画像復元問題として、新しく定義されたアンダーディスプレイカメラ(UDC)に焦点を当てます。まず、4k透明OLED(T-OLED)と電話ペンタイルOLED(P-OLED)を取り、それらの光学システムを分析して劣化を理解します。次に、実際のペアデータの取得を容易にするモニターカメライメージングシステム(MCIS)と、表示パターンとカメラ測定からのみ点像分布関数(PSF)とUDCデータを生成するモデルベースのデータ合成パイプラインを設計します。最後に、デコンボリューションベースのパイプラインと学習ベースの方法を使用して、複雑な劣化を解決します。私たちのモデルは、リアルタイムの高品質な復元を示しています。提示された方法と結果は、UDCの有望な研究価値と方向性を明らかにしています。
The new trend of full-screen devices encourages us to position a camera behind a screen. Removing the bezel and centralizing the camera under the screen brings larger display-to-body ratio and enhances eye contact in video chat, but also causes image degradation. In this paper, we focus on a newly-defined Under-Display Camera (UDC), as a novel real-world single image restoration problem. First, we take a 4k Transparent OLED (T-OLED) and a phone Pentile OLED (P-OLED) and analyze their optical systems to understand the degradation. Second, we design a Monitor-Camera Imaging System (MCIS) for easier real pair data acquisition, and a model-based data synthesizing pipeline to generate Point Spread Function (PSF) and UDC data only from display pattern and camera measurements. Finally, we resolve the complicated degradation using deconvolution-based pipeline and learning-based methods. Our model demonstrates a real-time high-quality restoration. The presented methods and results reveal the promising research values and directions of UDC.