arXiv reaDer
CUDA-中心窩視覚系の最適化されたリアルタイムレンダリング
CUDA-Optimized real-time rendering of a Foveated Visual System
人間の視覚系の空間的に変化する分野は、最近、仮想現実(VR)とニューラルネットワークの開発により再び関心を集めています。 VRに必要な高解像度レンダリングの計算上の要求は、周辺の節約によって相殺できますが、中心窩入力でトレーニングされたニューラルネットワークは、iidおよびoodの一般化において知覚的な向上を示しています。この論文では、CUDA GPUアーキテクチャを活用して、ガウスベースの中心窩画像をリアルタイム(165 Hz)で高解像度(1920x1080 px)で効率的に生成し、以前のガウスベースよりも多数のプーリング領域を使用する手法を紹介します。数桁のフォビエーションアルゴリズムにより、それ以上のブレンドやスティッチングを必要とせず、コントラスト感度関数にうまく適合できる滑らかなフォビエーション画像を生成します。説明されているアプローチは、ガウスぼかしから偏心に依存する画像処理に適応でき、アルゴリズムは、生物学的および人工的なエージェント間で空間的に変化する処理の役割を評価するための実験の需要を満たすことができるため、既存の上に中心窩を簡単に追加できます再設計を強制するのではなく、システム(エミュレートされた中心窩レンダラー)。全体として、このペーパーでは、CUDAブロックワイズアーキテクチャを備えたGPUを放射状に変化するレンダリングに使用する方法を示し、メタメリックフォビエーションスキームを保証するためのより複雑な後処理の機会を提供します。コードが提供されます。
The spatially-varying field of the human visual system has recently received a resurgence of interest with the development of virtual reality (VR) and neural networks. The computational demands of high resolution rendering desired for VR can be offset by savings in the periphery, while neural networks trained with foveated input have shown perceptual gains in i.i.d and o.o.d generalization. In this paper, we present a technique that exploits the CUDA GPU architecture to efficiently generate Gaussian-based foveated images at high definition (1920x1080 px) in real-time (165 Hz), with a larger number of pooling regions than previous Gaussian-based foveation algorithms by several orders of magnitude, producing a smoothly foveated image that requires no further blending or stitching, and that can be well fit for any contrast sensitivity function. The approach described can be adapted from Gaussian blurring to any eccentricity-dependent image processing and our algorithm can meet demand for experimentation to evaluate the role of spatially-varying processing across biological and artificial agents, so that foveation can be added easily on top of existing systems rather than forcing their redesign (emulated foveated renderer). Altogether, this paper demonstrates how a GPU, with a CUDA block-wise architecture, can be employed for radially-variant rendering, with opportunities for more complex post-processing to ensure a metameric foveation scheme. Code is provided.
updated: Tue Dec 15 2020 22:43:04 GMT+0000 (UTC)
published: Tue Dec 15 2020 22:43:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト