arXiv reaDer
ScanGAN360:360 ^∘画像のリアルなスキャンパスの生成モデル
ScanGAN360: A Generative Model of Realistic Scanpaths for 360^∘ Images
360 ^∘環境での人間の視線行動のダイナミクスを理解してモデル化することは、コンピュータービジョンと仮想現実における重要な課題です。生成的敵対的アプローチは、目に見えない画像に対して多数の可能なスキャンパスを生成することにより、この課題を軽減する可能性があります。ただし、スキャンパスを生成するための既存の方法では、360 ^∘画像の現実的なスキャンパスを適切に予測できません。この困難な問題に対処するための新しい生成的敵対的アプローチであるScanGAN360を紹介します。当社のネットワークジェネレーターは、没入型環境を表す360 ^∘画像の詳細に合わせて調整されています。具体的には、損失関数として動的時間ワーピングの球形適応の使用を活用し、360 ^∘スキャンパスの新しいパラメーター化を提案することによってこれを実現します。スキャンパスの品質は、競合するアプローチを大幅に上回り、人間のベースラインとほぼ同等です。したがって、ScanGAN360を使用すると、多数の仮想オブザーバーの高速シミュレーションが可能になり、その動作は実際のユーザーを模倣し、仮想シーン設計における注視動作と新しいアプリケーションをよりよく理解できるようになります。
Understanding and modeling the dynamics of human gaze behavior in 360^∘ environments is a key challenge in computer vision and virtual reality. Generative adversarial approaches could alleviate this challenge by generating a large number of possible scanpaths for unseen images. Existing methods for scanpath generation, however, do not adequately predict realistic scanpaths for 360^∘ images. We present ScanGAN360, a new generative adversarial approach to address this challenging problem. Our network generator is tailored to the specifics of 360^∘ images representing immersive environments. Specifically, we accomplish this by leveraging the use of a spherical adaptation of dynamic-time warping as a loss function and proposing a novel parameterization of 360^∘ scanpaths. The quality of our scanpaths outperforms competing approaches by a large margin and is almost on par with the human baseline. ScanGAN360 thus allows fast simulation of large numbers of virtual observers, whose behavior mimics real users, enabling a better understanding of gaze behavior and novel applications in virtual scene design.
updated: Thu Mar 25 2021 15:34:18 GMT+0000 (UTC)
published: Thu Mar 25 2021 15:34:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト