ハードウェアの制約により、標準的な市販のデジタル カメラは、ダイナミック レンジ (LDR) と 1 秒あたりのフレーム数 (FPS) の出力が低いという問題があります。ハイ ダイナミック レンジ (HDR) ビデオ再構成の以前の作品では、交互露光 LDR フレームのシーケンスを入力として使用し、オプティカル フロー ベースのネットワークを使用して隣接するフレームを整列させます。ただし、これらの方法では、困難な状況でモーション アーティファクトが発生することがよくあります。これは、オプティカル フローを使用して位置合わせを適用するために、代替露光フレームを露光整合する必要があるためです。したがって、LDR フレームの過飽和とノイズにより、位置合わせが不正確になります。この目的のために、事前にトレーニングされたビデオ フレーム補間ネットワークを使用して、入力 LDR フレームを整列することを提案します。これにより、エラーが発生しやすい露出マッチング手順を回避し、同じ露出入力から中間欠落フレームを直接生成するため、LDR フレームの位置合わせが改善されます。さらに、中間フレームを再帰的に補間することで、高 FPS HDR ビデオを生成できます。この作業を通じて、HDR ビデオ再構成にビデオ フレーム補間を使用することを提案し、高 FPS HDR ビデオを生成する最初の方法を提示します。実験結果は、オプティカル フロー ベースの位置合わせ方法に対する提案されたフレームワークの有効性を示しており、標準の HDR ビデオ データセットで 2.4 PSNR 値の絶対的な改善が見られ [1]、[2]、さらに、高 FPS HDR ビデオ生成の方法をベンチマークします。
Due to hardware constraints, standard off-the-shelf digital cameras suffers from low dynamic range (LDR) and low frame per second (FPS) outputs. Previous works in high dynamic range (HDR) video reconstruction uses sequence of alternating exposure LDR frames as input, and align the neighbouring frames using optical flow based networks. However, these methods often result in motion artifacts in challenging situations. This is because, the alternate exposure frames have to be exposure matched in order to apply alignment using optical flow. Hence, over-saturation and noise in the LDR frames results in inaccurate alignment. To this end, we propose to align the input LDR frames using a pre-trained video frame interpolation network. This results in better alignment of LDR frames, since we circumvent the error-prone exposure matching step, and directly generate intermediate missing frames from the same exposure inputs. Furthermore, it allows us to generate high FPS HDR videos by recursively interpolating the intermediate frames. Through this work, we propose to use video frame interpolation for HDR video reconstruction, and present the first method to generate high FPS HDR videos. Experimental results demonstrate the efficacy of the proposed framework against optical flow based alignment methods, with an absolute improvement of 2.4 PSNR value on standard HDR video datasets [1], [2] and further benchmark our method for high FPS HDR video generation.