arXiv reaDer
W-Net: Two-stage U-Net with misaligned data for raw-to-RGB mapping
 生のベイヤー画像とRGB画像間のマッピングの学習に関する最近の研究は、深い畳み込みニューラルネットワークの開発とともに進歩しました。挑戦的なデータセット、すなわちZurich Raw-to-RGBデータセット(ZRR)は、AIM 2019 raw-to-RGBマッピングチャレンジでリリースされました。 ZRRでは、入力された生のRGB画像とターゲットのRGB画像は2つの異なるカメラでキャプチャされるため、完全に位置合わせされません。さらに、ホワイトバランスゲインや色補正マトリックスなどのカメラメタデータが提供されていないため、チャレンジがより困難になります。このホワイトペーパーでは、これらの問題に対処するための効果的なネットワーク構造と損失関数について説明します。 2段階U-Netアーキテクチャを活用し、位置合わせのバリエーションが少なく、色の違いにより敏感な損失関数も導入します。さらに、さまざまな損失関数でトレーニングされたネットワークのアンサンブルにより、パフォーマンスが大幅に向上することを示します。ピークS / N比と構造的類似性の両方の点で最高のスコアを達成し、チャレンジで2番目に良い平均オピニオンスコアを取得することで、この方法の優位性を実証します。
Recent research on learning a mapping between raw Bayer images and RGB images has progressed with the development of deep convolutional neural networks. A challenging data set namely the Zurich Raw-to-RGB data set (ZRR) has been released in the AIM 2019 raw-to-RGB mapping challenge. In ZRR, input raw and target RGB images are captured by two different cameras and thus not perfectly aligned. Moreover, camera metadata such as white balance gains and color correction matrix are not provided, which makes the challenge more difficult. In this paper, we explore an effective network structure and a loss function to address these issues. We exploit a two-stage U-Net architecture and also introduce a loss function that is less variant to alignment and more sensitive to color differences. In addition, we show an ensemble of networks trained with different loss functions can bring a significant performance gain. We demonstrate the superiority of our method by achieving the highest score in terms of both the peak signal-to-noise ratio and the structural similarity and obtaining the second-best mean-opinion-score in the challenge.
updated: Fri Nov 22 2019 02:59:47 GMT+0000 (UTC)
published: Wed Nov 20 2019 01:17:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト