arXiv reaDer
広いベースラインを持つ非常にまばらなライトフィールドの動的補間の学習
Learning Dynamic Interpolation for Extremely Sparse Light Fields with Wide Baselines
この論文では、広いベースラインを持つまばらにサンプリングされたものからの高密度ライトフィールド(LF)再構成の問題に取り組み、一般的に使用されるジオメトリワーピング操作に代わる学習可能なモデル、つまり動的補間を提案します。具体的には、入力ビュー間の幾何学的関係を推定して、最初に軽量ニューラルネットワークを構築し、入力ビューから隣接するピクセルを補間するための重みを動的に学習して、新しいビューの各ピクセルを個別に合成します。ジオメトリワーピング操作で使用される固定およびコンテンツに依存しない重みとは対照的に、学習された補間重みは、ソースビューと新規ビューの間の対応を暗黙的に組み込み、さまざまな画像コンテンツ情報に適応します。次に、ジオメトリベースの空間リファインメントモジュールを使用して入力ビューのピクセルを参照することにより、各新規ビューの独立して合成されたピクセル間の空間相関を回復します。また、視差指向のLF構造の損失を通じて、新しいビュー間の角度相関を制約します。広いベースラインを持つLFデータセットの実験結果は、再構築されたLFがはるかに高いPSNR / SSIMを達成し、最先端の方法よりもLF視差構造をよりよく保存することを示しています。ソースコードはhttps://github.com/MantangGuo/DI4SLFで公開されています。
In this paper, we tackle the problem of dense light field (LF) reconstruction from sparsely-sampled ones with wide baselines and propose a learnable model, namely dynamic interpolation, to replace the commonly-used geometry warping operation. Specifically, with the estimated geometric relation between input views, we first construct a lightweight neural network to dynamically learn weights for interpolating neighbouring pixels from input views to synthesize each pixel of novel views independently. In contrast to the fixed and content-independent weights employed in the geometry warping operation, the learned interpolation weights implicitly incorporate the correspondences between the source and novel views and adapt to different image content information. Then, we recover the spatial correlation between the independently synthesized pixels of each novel view by referring to that of input views using a geometry-based spatial refinement module. We also constrain the angular correlation between the novel views through a disparity-oriented LF structure loss. Experimental results on LF datasets with wide baselines show that the reconstructed LFs achieve much higher PSNR/SSIM and preserve the LF parallax structure better than state-of-the-art methods. The source code is publicly available at https://github.com/MantangGuo/DI4SLF.
updated: Wed Aug 18 2021 12:29:40 GMT+0000 (UTC)
published: Tue Aug 17 2021 02:20:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト