arXiv reaDer
中心窩レンダリングのためのノイズベースの拡張
Noise-based Enhancement for Foveated Rendering
空間の詳細に対する人間の視覚的感度は、周辺に向かって低下します。新しい画像合成技術、いわゆる中心窩レンダリングは、この観察結果を活用し、周辺の合成画像の空間分解能を低下させ、生成にコストがかかるが視聴者には認識されない高空間周波数の詳細の合成を回避します。しかし、現代の技術では、再現する必要のある空間周波数の範囲と省略できる空間周波数の範囲を明確に区別していません。与えられた離心率に対して、検出可能であるが解決できない周波数の範囲があります。これらの周波数を正確に再現する必要はありませんが、完全に省略した場合、観測者はそれらの周波数がないことを検出できます。この観察結果を使用して、既存の中心窩レンダリング手法のパフォーマンスを向上させます。この特定の周波数範囲を、画像の内容と人間の知覚に合わせてパラメータを注意深く調整した手続き型ノイズに効率的に置き換えることができることを示します。したがって、これらの周波数はレンダリング中に合成する必要がないため、より積極的なフォビエーションが可能になり、より安価な後処理ステップで生成されるノイズに置き換えることができるため、レンダリングシステムのパフォーマンスが向上します。私たちの主な貢献は、エンハンスメントとそのキャリブレーションに必要なノイズのパラメータを導出するための知覚に触発された手法です。この方法は、レンダリング出力で動作し、4K解像度で200FPSを超えるレートで実行されるため、VRおよびARデバイス用のリアルタイム中心窩レンダリングシステムとの統合に適しています。結果を検証し、ユーザー実験で既存のコントラスト強調手法と比較します。
Human visual sensitivity to spatial details declines towards the periphery. Novel image synthesis techniques, so-called foveated rendering, exploit this observation and reduce the spatial resolution of synthesized images for the periphery, avoiding the synthesis of high-spatial-frequency details that are costly to generate but not perceived by a viewer. However, contemporary techniques do not make a clear distinction between the range of spatial frequencies that must be reproduced and those that can be omitted. For a given eccentricity, there is a range of frequencies that are detectable but not resolvable. While the accurate reproduction of these frequencies is not required, an observer can detect their absence if completely omitted. We use this observation to improve the performance of existing foveated rendering techniques. We demonstrate that this specific range of frequencies can be efficiently replaced with procedural noise whose parameters are carefully tuned to image content and human perception. Consequently, these frequencies do not have to be synthesized during rendering, allowing more aggressive foveation, and they can be replaced by noise generated in a less expensive post-processing step, leading to improved performance of the rendering system. Our main contribution is a perceptually-inspired technique for deriving the parameters of the noise required for the enhancement and its calibration. The method operates on rendering output and runs at rates exceeding 200FPS at 4K resolution, making it suitable for integration with real-time foveated rendering systems for VR and AR devices. We validate our results and compare them to the existing contrast enhancement technique in user experiments.
updated: Sat Apr 09 2022 12:00:28 GMT+0000 (UTC)
published: Sat Apr 09 2022 12:00:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト