新しい3露光クワッドベイヤーセンサーを使用した新しいハイダイナミックレンジ(HDR)ビデオ再構成法を提案します。露出セットの数が多く、フレーム全体に空間的に均一に配置されているため、以前の空間変化露出(SVE)HDRビデオ方式よりもノイズや空間アーチファクトに対して堅牢です。それにもかかわらず、より長い露出からのモーションブラー、短い露出からのノイズ、およびSVEメソッドの固有の空間アーティファクトは依然として大きな障害です。さらに、ビデオ再構成の安定性のために時間的コヒーレンスを考慮に入れる必要があります。これらの課題に取り組むために、これらの問題を分割して克服する新しいネットワークアーキテクチャを紹介します。ネットワークを広いダイナミックレンジにより良く適応させるために、HDRフレームのハイライトされたピクセルとシェーディングされたピクセルの両方から等しく寄与するLDR再構成損失も提案します。一連の比較とアブレーションの研究を通じて、特にダイナミックレンジが広いシーンや動きのあるオブジェクトの場合、当社のソリューションを使用した3露光クワッドベイヤーが以前の再構成方法よりもキャプチャに最適であることを示します。
We propose a novel high dynamic range (HDR) video reconstruction method with new tri-exposure quad-bayer sensors. Thanks to the larger number of exposure sets and their spatially uniform deployment over a frame, they are more robust to noise and spatial artifacts than previous spatially varying exposure (SVE) HDR video methods. Nonetheless, the motion blur from longer exposures, the noise from short exposures, and inherent spatial artifacts of the SVE methods remain huge obstacles. Additionally, temporal coherence must be taken into account for the stability of video reconstruction. To tackle these challenges, we introduce a novel network architecture that divides-and-conquers these problems. In order to better adapt the network to the large dynamic range, we also propose LDR-reconstruction loss that takes equal contributions from both the highlighted and the shaded pixels of HDR frames. Through a series of comparisons and ablation studies, we show that the tri-exposure quad-bayer with our solution is more optimal to capture than previous reconstruction methods, particularly for the scenes with larger dynamic range and objects with motion.