arXiv reaDer
柔軟な解像度の再構成のためのライトフィールド陰的表現
Light Field Implicit Representation for Flexible Resolution Reconstruction
訓練されたニューラルネットワークで信号を暗黙的に表現する最近の進歩に触発されて、狭いベースラインの4Dライトフィールドの連続表現を学習することを目指しています。入力ビューのスパースセットを条件とする4Dライトフィールドの陰的表現モデルを提案します。私たちのモデルは、クエリの空間角度座標の連続範囲のライトフィールド値を出力するようにトレーニングされています。入力ビューのまばらなセットが与えられた場合、私たちのスキームは、柔軟な要因によって空間領域と角度領域の両方で入力を超解像することができます。ライトフィールドパッチのデータセットでトレーニングされた特徴抽出器とデコーダーで構成されます。特徴抽出器は、入力ビューからピクセルごとの特徴をキャプチャします。これらの機能は、希望の空間解像度にサイズ変更して、クエリ座標とともにデコーダーに送ることができます。この定式化により、任意の空間および角度分解能でライトフィールドビューを再構築できます。さらに、私たちのネットワークは、入力ビューが低解像度であるか、ピクセルが欠落しているシナリオを処理できます。実験によると、私たちの方法は、計算が高速でありながら、ビュー合成のタスクに対して最先端のパフォーマンスを実現します。
Inspired by the recent advances in implicitly representing signals with trained neural networks, we aim to learn a continuous representation for narrow-baseline 4D light fields. We propose an implicit representation model for 4D light fields which is conditioned on a sparse set of input views. Our model is trained to output the light field values for a continuous range of query spatio-angular coordinates. Given a sparse set of input views, our scheme can super-resolve the input in both spatial and angular domains by flexible factors. consists of a feature extractor and a decoder which are trained on a dataset of light field patches. The feature extractor captures per-pixel features from the input views. These features can be resized to a desired spatial resolution and fed to the decoder along with the query coordinates. This formulation enables us to reconstruct light field views at any desired spatial and angular resolution. Additionally, our network can handle scenarios in which input views are either of low-resolution or with missing pixels. Experiments show that our method achieves state-of-the-art performance for the task of view synthesis while being computationally fast.
updated: Tue Nov 30 2021 23:59:02 GMT+0000 (UTC)
published: Tue Nov 30 2021 23:59:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト