ライトフィールドは、通常、ビューの配列、または単一のビューのピクセルごとの複数の指向性サンプルとして構造化された4Dシーン表現です。ただし、この高度に相関する構造は、送信および操作(特に編集の場合)にはあまり効率的ではありません。これらの問題に取り組むために、視覚チャネルのセット(つまり中央RGBビュー)と残りの幾何学的および外観情報をエンコードする補完的なメタチャネルで構成される、新しいコンパクトで編集可能なライトフィールド表現を提示します。この表現のビジュアルチャネルは、編集されたライトフィールド全体を正確に再構築する前に、既存の2D画像編集ツールを使用して編集できます。表現を学習するためのエンコーダーと、ライトフィールドを再構築するためのデコーダーで構成されるオートエンコーダーフレームワークを介してこの表現を学習することを提案します。困難なオクルージョンと編集の伝播を処理するために、編集を意識したデコードネットワークとそれに関連するトレーニング戦略を特別に設計し、視覚チャネルへの編集を再構築時にライトフィールド全体に一貫して伝播できるようにしました。提案された方法は、再構成の精度において関連する既存の方法よりも優れており、伝播の編集において視覚的に快適なパフォーマンスを実現します。
Light fields are 4D scene representation typically structured as arrays of views, or several directional samples per pixel in a single view. This highly correlated structure is not very efficient to transmit and manipulate (especially for editing), though. To tackle these problems, we present a novel compact and editable light field representation, consisting of a set of visual channels (i.e. the central RGB view) and a complementary meta channel that encodes the residual geometric and appearance information. The visual channels in this representation can be edited using existing 2D image editing tools, before accurately reconstructing the whole edited light field back. We propose to learn this representation via an autoencoder framework, consisting of an encoder for learning the representation, and a decoder for reconstructing the light field. To handle the challenging occlusions and propagation of edits, we specifically designed an editing-aware decoding network and its associated training strategy, so that the edits to the visual channels can be consistently propagated to the whole light field upon reconstruction.Experimental results show that our proposed method outperforms related existing methods in reconstruction accuracy, and achieves visually pleasant performance in editing propagation.