デジタル一眼レフカメラと比較して、スマートフォンのカメラはセンサーが小さいため、空間分解能が制限されます。開口部が小さいため、集光能力が制限されます。ピクセルが小さいため、信号対雑音比が低下します。カラーフィルターアレイ(CFA)を使用するには、デモザイク処理が必要であり、解像度がさらに低下します。この論文では、シングルフレームおよびバースト写真パイプラインでの従来のデモザイキングの使用を、CFA生画像のバーストから直接完全なRGB画像を作成するマルチフレーム超解像アルゴリズムに置き換えます。ハンドヘルド写真で一般的な自然な手の震えを利用して、小さなオフセットで生のフレームのバーストを取得します。次に、これらのフレームが整列およびマージされて、すべてのピクセルサイトで赤、緑、および青の値を持つ単一の画像が形成されます。明示的なデモザイク処理を含まないこのアプローチは、画像の解像度を高め、信号対雑音比を高めるのに役立ちます。私たちのアルゴリズムは、局所的な動き、オクルージョン、シーンの変化など、困難なシーン条件に対して堅牢です。大量生産された携帯電話では、12メガピクセルのRAW入力バーストフレームあたり100ミリ秒で動作します。具体的には、このアルゴリズムは、Super-Res Zoom機能の基礎であり、Googleの主力携帯電話のナイトサイトモード(ズームの有無にかかわらず)のデフォルトのマージ方法です。
Compared to DSLR cameras, smartphone cameras have smaller sensors, which limits their spatial resolution; smaller apertures, which limits their light gathering ability; and smaller pixels, which reduces their signal-to noise ratio. The use of color filter arrays (CFAs) requires demosaicing, which further degrades resolution. In this paper, we supplant the use of traditional demosaicing in single-frame and burst photography pipelines with a multiframe super-resolution algorithm that creates a complete RGB image directly from a burst of CFA raw images. We harness natural hand tremor, typical in handheld photography, to acquire a burst of raw frames with small offsets. These frames are then aligned and merged to form a single image with red, green, and blue values at every pixel site. This approach, which includes no explicit demosaicing step, serves to both increase image resolution and boost signal to noise ratio. Our algorithm is robust to challenging scene conditions: local motion, occlusion, or scene changes. It runs at 100 milliseconds per 12-megapixel RAW input burst frame on mass-produced mobile phones. Specifically, the algorithm is the basis of the Super-Res Zoom feature, as well as the default merge method in Night Sight mode (whether zooming or not) on Google's flagship phone.