arXiv reaDer
RBSRICNN:反復畳み込みニューラルネットワークによる生バースト超解像
RBSRICNN: Raw Burst Super-Resolution through Iterative Convolutional Neural Network
最新のデジタルカメラとスマートフォンは、リアルなカラーRGB画像を生成するために、主に画像信号処理(ISP)パイプラインに依存しています。ただし、デジタル一眼レフカメラと比較すると、物理的な制限があるため、コンパクトカメラセンサーを搭載した多くのポータブルモバイルデバイスでは通常、低品質の画像が取得されます。低品質の画像には、カメラの動きによるサブピクセルシフト、カメラのカラーフィルターアレイによるモザイクパターン、小型のカメラセンサーによる低解像度など、複数の劣化があり、残りの情報はノイズによって破損します。このような劣化は、単一の低解像度(LR)画像から高解像度(HR)画像の詳細を復元する際の現在の単一画像超解像(SISR)メソッドのパフォーマンスを制限します。この作業では、フォワード(物理)モデルによってバースト写真パイプライン全体を追跡するRaw Burst超解像反復畳み込みニューラルネットワーク(RBSRICNN)を提案します。提案されたバーストSRスキームは、既存のブラックボックスデータ駆動方式と比較して、古典的な画像の正則化、凸最適化、および深層学習手法の問題を解決します。提案されたネットワークは、中間SR推定値の反復的な改良によって最終出力を生成します。トレーニングに利用できる唯一の合成バーストデータを使用して、実際のLRバースト入力にロバストに一般化する定量的および定性的実験で提案されたアプローチの有効性を示します。
Modern digital cameras and smartphones mostly rely on image signal processing (ISP) pipelines to produce realistic colored RGB images. However, compared to DSLR cameras, low-quality images are usually obtained in many portable mobile devices with compact camera sensors due to their physical limitations. The low-quality images have multiple degradations i.e., sub-pixel shift due to camera motion, mosaick patterns due to camera color filter array, low-resolution due to smaller camera sensors, and the rest information are corrupted by the noise. Such degradations limit the performance of current Single Image Super-resolution (SISR) methods in recovering high-resolution (HR) image details from a single low-resolution (LR) image. In this work, we propose a Raw Burst Super-Resolution Iterative Convolutional Neural Network (RBSRICNN) that follows the burst photography pipeline as a whole by a forward (physical) model. The proposed Burst SR scheme solves the problem with classical image regularization, convex optimization, and deep learning techniques, compared to existing black-box data-driven methods. The proposed network produces the final output by an iterative refinement of the intermediate SR estimates. We demonstrate the effectiveness of our proposed approach in quantitative and qualitative experiments that generalize robustly to real LR burst inputs with onl synthetic burst data available for training.
updated: Mon Oct 25 2021 19:01:28 GMT+0000 (UTC)
published: Mon Oct 25 2021 19:01:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト