変更されたJPEG画像と復元された新しいビューの知覚的忠実度を維持しながら、単一のJPEG画像に新しいビューを埋め込むための新しいアプローチを提案します。マルチプレーン画像(MPI)の人気のある新しいビュー合成表現を採用しています。私たちのモデルは、最初に32のMPIレイヤー(合計128チャネル)を3チャネルのJPEG画像にエンコードします。この画像は、MPI用にデコードして、ピクセルあたり1024ビットの埋め込み容量で新しいビューをレンダリングできます。さまざまな新規ビュー合成方法を使用して公開データセットで実験を行い、その結果は、提案された方法がわずかに変更されたJPEG画像から忠実度の高い新規ビューを復元できることを示しています。さらに、私たちの方法は、JPEG圧縮、色調整、およびトリミングに対して堅牢です。私たちのソースコードは公開されます。
We propose a novel approach for embedding novel views in a single JPEG image while preserving the perceptual fidelity of the modified JPEG image and the restored novel views. We adopt the popular novel view synthesis representation of multiplane images (MPIs). Our model first encodes 32 MPI layers (totally 128 channels) into a 3-channel JPEG image that can be decoded for MPIs to render novel views, with an embedding capacity of 1024 bits per pixel. We conducted experiments on public datasets with different novel view synthesis methods, and the results show that the proposed method can restore high-fidelity novel views from a slightly modified JPEG image. Furthermore, our method is robust to JPEG compression, color adjusting, and cropping. Our source code will be publicly available.