arXiv reaDer
Deep Selective Combinatorial Embedding and Consistency Regularization for Light Field Super-resolution
ハンドヘルドデバイスによって取得されたライトフィールド(LF)画像は、制限された検出器の解像度を角度寸法と共有する必要があるため、通常、空間解像度が低くなります。したがって、LF空間超解像(SR)は、LFカメラ処理パイプラインの不可欠な部分になります。 LF画像の高次元特性と複雑な幾何学的構造により、この問題は従来の単一画像SRよりも困難になっています。既存の方法のパフォーマンスは、LFサブアパーチャ画像(SAI)間のコヒーレンスを完全に調査できず、シーンの視差構造を正確に保存するには不十分であるため、依然として制限されています。この課題に取り組むために、新しい学習ベースのLF空間SRフレームワークを提案します。具体的には、LF画像の各SAIは、選択的な組み合わせ幾何学埋め込みを使用してSAI間の補完情報を探索することにより、最初に粗く個別に超解像されます。補足情報の効率的かつ効果的な選択を実現するために、階層的に実行される2つの新しいサブモジュールを提案します。パッチセレクターは、オフラインの視差推定に基づいて類似の画像パッチを取得し、大きな視差の相関を処理するオプションを提供します。また、SAIセレクターは、最も有益なSAIを適応的かつ柔軟に選択して、埋め込み効率を向上させます。再構築されたSAI間で視差構造を保持するために、構造認識損失関数でトレーニングされた整合性正則化ネットワークを追加して、粗い推定で視差関係を改善します。さらに、提案した方法を不規則なLFデータに拡張します。私たちの知る限り、これは不規則なLFデータに対する最初の学習ベースのSR法です。合成および実世界の両方のLFデータセットに対する実験結果は、最先端の方法に対する私たちのアプローチの重要な利点を示しています。
Light field (LF) images acquired by hand-held devices usually suffer from low spatial resolution as the limited detector resolution has to be shared with the angular dimension. LF spatial super-resolution (SR) thus becomes an indispensable part of the LF camera processing pipeline. The high-dimensionality characteristic and complex geometrical structure of LF images make the problem more challenging than traditional single-image SR. The performance of existing methods is still limited as they fail to thoroughly explore the coherence among LF sub-aperture images (SAIs) and are insufficient in accurately preserving the scene's parallax structure. To tackle this challenge, we propose a novel learning-based LF spatial SR framework. Specifically, each SAI of an LF image is first coarsely and individually super-resolved by exploring the complementary information among SAIs with selective combinatorial geometry embedding. To achieve efficient and effective selection of the complementary information, we propose two novel sub-modules conducted hierarchically: the patch selector provides an option of retrieving similar image patches based on offline disparity estimation to handle large-disparity correlations; and the SAI selector adaptively and flexibly selects the most informative SAIs to improve the embedding efficiency. To preserve the parallax structure among the reconstructed SAIs, we subsequently append a consistency regularization network trained over a structure-aware loss function to refine the parallax relationships over the coarse estimation. In addition, we extend the proposed method to irregular LF data. To the best of our knowledge, this is the first learning-based SR method for irregular LF data. Experimental results over both synthetic and real-world LF datasets demonstrate the significant advantage of our approach over state-of-the-art methods.
updated: Wed Oct 06 2021 08:44:09 GMT+0000 (UTC)
published: Sat Sep 26 2020 08:34:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト