arXiv reaDer
携帯電話でデュアルカメラフュージョンを使用した顔のブレ除去
Face Deblurring using Dual Camera Fusion on Mobile Phones
動きの速い被写体のモーションブラーは、写真撮影では長年の問題であり、特に暗い場所での集光効率が限られているため、携帯電話では非常に一般的です。近年、画像のブレ除去が大幅に進歩しましたが、ほとんどの方法ではかなりの計算能力が必要であり、激しい局所的な動きを伴う高解像度の写真の処理には制限があります。この目的のために、私たちは携帯電話用のデュアルカメラフュージョン技術に基づいた新しい顔のぼけ除去システムを開発します。システムは被写体の動きを検出して、最近のプレミアム電話で一般的に利用可能な超広角カメラなどの参照カメラを動的に有効にし、より高速なシャッター設定で補助写真をキャプチャします。メインショットは低ノイズですがぼやけていますが、リファレンスショットはシャープですがノイズが多いです。これらの2つのショットを位置合わせして融合し、モーションブラーのない鮮明な写真を出力するMLモデルを学習します。私たちのアルゴリズムはGooglePixel6で効率的に実行され、ショットごとに463ミリ秒のオーバーヘッドがかかります。私たちの実験は、代替の単一画像、マルチフレーム、顔固有、およびビデオのぼけ除去アルゴリズムや市販製品に対するシステムの利点と堅牢性を示しています。私たちの知る限り、私たちの仕事は、さまざまな動きや照明条件で何千もの画像に対して確実かつ堅牢に機能する、顔の動きのブレ除去のための最初のモバイルソリューションです。
Motion blur of fast-moving subjects is a longstanding problem in photography and very common on mobile phones due to limited light collection efficiency, particularly in low-light conditions. While we have witnessed great progress in image deblurring in recent years, most methods require significant computational power and have limitations in processing high-resolution photos with severe local motions. To this end, we develop a novel face deblurring system based on the dual camera fusion technique for mobile phones. The system detects subject motion to dynamically enable a reference camera, e.g., ultrawide angle camera commonly available on recent premium phones, and captures an auxiliary photo with faster shutter settings. While the main shot is low noise but blurry, the reference shot is sharp but noisy. We learn ML models to align and fuse these two shots and output a clear photo without motion blur. Our algorithm runs efficiently on Google Pixel 6, which takes 463 ms overhead per shot. Our experiments demonstrate the advantage and robustness of our system against alternative single-image, multi-frame, face-specific, and video deblurring algorithms as well as commercial products. To the best of our knowledge, our work is the first mobile solution for face motion deblurring that works reliably and robustly over thousands of images in diverse motion and lighting conditions.
updated: Sat Jul 23 2022 22:50:46 GMT+0000 (UTC)
published: Sat Jul 23 2022 22:50:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト