ライト フィールド (LF) カメラは、シーンから豊富な情報をキャプチャします。この情報を使用して、LF デオクルージョン (LF-DeOcc) タスクは、オクルージョンのないセンター ビュー イメージを再構築することを目的としています。既存の LF-DeOcc 研究は主に、ほとんどのオクルージョンされた領域が大きな視差のために他のビューで見えるまばらにサンプリングされた (まばらな) LF 画像に焦点を当てています。このホワイトペーパーでは、マイクロレンズベースのポータブル LF カメラで撮影された、より困難なデータセット、高密度にサンプリングされた (高密度) LF 画像で LF-DeOcc を拡張します。密度の高い LF 画像の視差範囲が小さいため、ほとんどの背景領域はどのビューでも見えません。両方の LF データセットに LF-DeOcc を適用するために、(1) LF 特徴の抽出、(2) オクルージョンの定義、(3) オクルージョンされた領域の修復の 3 つの役割に定義され、分割されたフレームワーク ISTY を提案します。フレームワークを役割に応じて 3 つの特殊なコンポーネントに分割することで、開発と分析が容易になります。さらに、説明可能な中間表現、オクルージョン マスクは、提案されたフレームワークで取得できます。オクルージョン マスクは、マスクを操作することで、モデルの包括的な分析やその他のアプリケーションに役立ちます。実験では、定性的および定量的な結果は、提案されたフレームワークが疎および密な LF データセットの両方で最先端の LF-DeOcc メソッドよりも優れていることを示しています。
Light field (LF) camera captures rich information from a scene. Using the information, the LF de-occlusion (LF-DeOcc) task aims to reconstruct the occlusion-free center view image. Existing LF-DeOcc studies mainly focus on the sparsely sampled (sparse) LF images where most of the occluded regions are visible in other views due to the large disparity. In this paper, we expand LF-DeOcc in more challenging datasets, densely sampled (dense) LF images, which are taken by a micro-lens-based portable LF camera. Due to the small disparity ranges of dense LF images, most of the background regions are invisible in any view. To apply LF-DeOcc in both LF datasets, we propose a framework, ISTY, which is defined and divided into three roles: (1) extract LF features, (2) define the occlusion, and (3) inpaint occluded regions. By dividing the framework into three specialized components according to the roles, the development and analysis can be easier. Furthermore, an explainable intermediate representation, an occlusion mask, can be obtained in the proposed framework. The occlusion mask is useful for comprehensive analysis of the model and other applications by manipulating the mask. In experiments, qualitative and quantitative results show that the proposed framework outperforms state-of-the-art LF-DeOcc methods in both sparse and dense LF datasets.