arXiv reaDer
単一のインターネット画像からの適応型マルチプレーン画像生成
Adaptive Multiplane Image Generation from a Single Internet Picture
過去数年間で、いくつかの作品がステレオ画像または単一の画像からの新しいビュー合成の問題に取り組んできました。ただし、以前の方法は、特に高解像度の画像の場合、計算コストが高くなります。この論文では、単一の高解像度画像からマルチプレーン画像(MPI)を生成する問題に対処します。低い計算要件で新しいビューをレンダリングできるようにする適応MPI表現を提示します。この目的のために、可変数の画像平面を持つMPIを生成する適応スライスアルゴリズムを提案します。より大きなネットワークからの知識蒸留によって学習される、深度推定用の新しい軽量CNNを紹介します。アダプティブMPIのオクルージョン領域は、軽量CNNによっても修復されます。私たちの方法は、以前のアプローチと比較して1桁少ないパラメーターで高品質の予測を生成できることを示しています。私たちの方法の堅牢性は、インターネットからの挑戦的な写真で証明されています。
In the last few years, several works have tackled the problem of novel view synthesis from stereo images or even from a single picture. However, previous methods are computationally expensive, specially for high-resolution images. In this paper, we address the problem of generating a multiplane image (MPI) from a single high-resolution picture. We present the adaptive-MPI representation, which allows rendering novel views with low computational requirements. To this end, we propose an adaptive slicing algorithm that produces an MPI with a variable number of image planes. We present a new lightweight CNN for depth estimation, which is learned by knowledge distillation from a larger network. Occluded regions in the adaptive-MPI are inpainted also by a lightweight CNN. We show that our method is capable of producing high-quality predictions with one order of magnitude less parameters compared to previous approaches. The robustness of our method is evidenced on challenging pictures from the Internet.
updated: Thu Nov 26 2020 14:35:05 GMT+0000 (UTC)
published: Thu Nov 26 2020 14:35:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト