新しいビュー レンダリングのための一般化可能なニューラル レンダリング アプローチである LIRF (Local Implicit Ray Function) を提案します。現在の一般化可能なニューラル ラジアンス フィールド (NeRF) メソッドは、1 ピクセルあたり 1 つのレイでシーンをサンプリングするため、入力ビューとレンダリングされたビューが異なる解像度でシーン コンテンツをキャプチャする場合、ぼやけたビューまたはエイリアス ビューをレンダリングする可能性があります。この問題を解決するために、円錐台からの情報を集約して光線を構築する LIRF を提案します。円錐台内の 3D 位置が与えられると、LIRF は 3D 座標と円錐台の特徴を入力として取り、局所的な体積放射輝度場を予測します。座標は連続しているため、LIRF はボリューム レンダリングを介して連続値スケールで高品質の斬新なビューをレンダリングします。さらに、トランスフォーマーベースの特徴マッチングを介して各入力ビューの可視ウェイトを予測し、遮られた領域でのパフォーマンスを向上させます。実世界のシーンでの実験結果は、私たちの方法が、任意のスケールで目に見えないシーンの新しいビュー レンダリングに関する最先端の方法よりも優れていることを検証します。
We propose LIRF (Local Implicit Ray Function), a generalizable neural rendering approach for novel view rendering. Current generalizable neural radiance fields (NeRF) methods sample a scene with a single ray per pixel and may therefore render blurred or aliased views when the input views and rendered views capture scene content with different resolutions. To solve this problem, we propose LIRF to aggregate the information from conical frustums to construct a ray. Given 3D positions within conical frustums, LIRF takes 3D coordinates and the features of conical frustums as inputs and predicts a local volumetric radiance field. Since the coordinates are continuous, LIRF renders high-quality novel views at a continuously-valued scale via volume rendering. Besides, we predict the visible weights for each input view via transformer-based feature matching to improve the performance in occluded areas. Experimental results on real-world scenes validate that our method outperforms state-of-the-art methods on novel view rendering of unseen scenes at arbitrary scales.