キャプチャされた画像の暗黙的ニューラル表現 (INR) を補間することによるビュー補間の方法である VIINTER を提示します。各画像に関連付けられた学習済みコード ベクトルを活用し、これらのコード間を補間して、視点の遷移を実現します。補間品質を大幅に向上させるいくつかの手法を提案します。 VIINTER は、3D 構造の構築、カメラの姿勢の推定、またはピクセル対応の計算を行わずに、ビューの補間を実現する新しい方法を意味します。さまざまなタイプのカメラレイアウトとシーン構成を持ついくつかのマルチビューシーンで VIINTER の有効性を検証します。画像の INR (表面やボリュームではなく) の開発は、画像フィッティングや超解像などのタスクに集中しているため、VIINTER を使用して、ビュー補間の機能を示し、画像操作タスクに INR を使用する有望な見通しを提供します。
We present VIINTER, a method for view interpolation by interpolating the implicit neural representation (INR) of the captured images. We leverage the learned code vector associated with each image and interpolate between these codes to achieve viewpoint transitions. We propose several techniques that significantly enhance the interpolation quality. VIINTER signifies a new way to achieve view interpolation without constructing 3D structure, estimating camera poses, or computing pixel correspondence. We validate the effectiveness of VIINTER on several multi-view scenes with different types of camera layout and scene composition. As the development of INR of images (as opposed to surface or volume) has centered around tasks like image fitting and super-resolution, with VIINTER, we show its capability for view interpolation and offer a promising outlook on using INR for image manipulation tasks.