arXiv reaDer
オプティカル フローとパッチマッチによるハンドヘルド カメラ入力の露出融合
Exposure Fusion for Hand-held Camera Inputs with Optical Flow and PatchMatch
この論文では、手持ち式カメラで撮影された多重露光画像融合のためのハイブリッド合成法を提案します。カメラの揺れやダイナミックなシーンが原因のモーションは、コンテンツ フュージョンの前に補正する必要があります。ずれがあると、融合した結果にぼやけ/ゴーストのアーティファクトが簡単に発生する可能性があります。私たちのハイブリッド手法は、そのような動きに対処し、各入力の露出情報を効果的に維持することができます。特に、提案された方法は、最初に粗い登録にオプティカルフローを適用します。これは、複雑な非剛体運動でうまく機能しますが、対応が欠落している領域で変形を生成します。対応がないのは、シーンの視差または動くコンテンツのオクルージョンによるものです。このようなエラー登録を修正するために、画像をスーパーピクセルに分割し、各スーパーピクセルに基づいて問題のある配置を特定します。これは、PatchMatch によってさらに配置されます。この方法は、オプティカル フローの効率と PatchMatch の精度を組み合わせたものです。 PatchMatch 補正の後、ぼやけ/ゴースト アーティファクトのない高品質の融合を容易にする、完全に位置合わせされた画像スタックを取得します。静的/動的、屋内/屋外、昼間/夜間のシーンなど、さまざまな挑戦的な例で、この方法を既存の融合アルゴリズムと比較します。実験結果は、私たちの方法の有効性と堅牢性を示しています。
This paper proposes a hybrid synthesis method for multi-exposure image fusion taken by hand-held cameras. Motions either due to the shaky camera or caused by dynamic scenes should be compensated before any content fusion. Any misalignment can easily cause blurring/ghosting artifacts in the fused result. Our hybrid method can deal with such motions and maintain the exposure information of each input effectively. In particular, the proposed method first applies optical flow for a coarse registration, which performs well with complex non-rigid motion but produces deformations at regions with missing correspondences. The absence of correspondences is due to the occlusions of scene parallax or the moving contents. To correct such error registration, we segment images into superpixels and identify problematic alignments based on each superpixel, which is further aligned by PatchMatch. The method combines the efficiency of optical flow and the accuracy of PatchMatch. After PatchMatch correction, we obtain a fully aligned image stack that facilitates a high-quality fusion that is free from blurring/ghosting artifacts. We compare our method with existing fusion algorithms on various challenging examples, including the static/dynamic, the indoor/outdoor and the daytime/nighttime scenes. Experiment results demonstrate the effectiveness and robustness of our method.
updated: Mon Apr 10 2023 09:06:37 GMT+0000 (UTC)
published: Mon Apr 10 2023 09:06:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト