arXiv reaDer
RGB-D Image Inpainting Using Generative Adversarial Network with a Late Fusion Approach
ディミニッシュリアリティは、ビデオ画像からオブジェクトを削除し、欠落している領域をもっともらしいピクセルで埋めることを目的としたテクノロジーです。ほとんどの従来の方法は、異なる視点から同じシーンをキャプチャする異なるカメラを利用して、領域を削除および復元できるようにします。本論文では、複数のカメラを必要としない生成的敵対的ネットワークを用いたRGB-D画像修復法を提案した。最近、RGB画像修復法は、生成的敵対的ネットワークを採用することにより、優れた結果を達成しています。ただし、RGB修復方法は、欠落している領域のテクスチャのみを復元することを目的としているため、幾何学的情報(つまり、シーンの3D構造)は復元されません。従来の画像修復方法をRGB-D画像修復に拡張し、RGB画像と深度画像のペアから欠落領域のテクスチャとジオメトリを共同で復元します。 RGBと深度画像を使用する他のタスク(セマンティックセグメンテーションやオブジェクト検出など)に触発されて、RGBと深度情報の利点を相互に活用するレイトフュージョンアプローチを提案します。実験結果は、提案した方法の有効性を検証します。
Diminished reality is a technology that aims to remove objects from video images and fills in the missing region with plausible pixels. Most conventional methods utilize the different cameras that capture the same scene from different viewpoints to allow regions to be removed and restored. In this paper, we propose an RGB-D image inpainting method using generative adversarial network, which does not require multiple cameras. Recently, an RGB image inpainting method has achieved outstanding results by employing a generative adversarial network. However, RGB inpainting methods aim to restore only the texture of the missing region and, therefore, does not recover geometric information (i.e, 3D structure of the scene). We expand conventional image inpainting method to RGB-D image inpainting to jointly restore the texture and geometry of missing regions from a pair of RGB and depth images. Inspired by other tasks that use RGB and depth images (e.g., semantic segmentation and object detection), we propose late fusion approach that exploits the advantage of RGB and depth information each other. The experimental results verify the effectiveness of our proposed method.
updated: Thu Oct 14 2021 14:44:01 GMT+0000 (UTC)
published: Thu Oct 14 2021 14:44:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト