arXiv reaDer
OmniZoomer: 高解像度で球体を移動してズームインする方法を学習する
OmniZoomer: Learning to Move and Zoom in on Sphere at High-Resolution
全方位画像 (ODI) は、その広い視野 (FoV) により、視聴者が仮想現実などの没入型環境で視野方向を自由に選択できる機会を提供できるため、ますます人気が高まっています。メビウス変換は通常、ODI での移動とズームの機会をさらに提供するために使用されますが、それを画像レベルに適用すると、多くの場合、ぼやけた効果やエイリアシングの問題が発生します。このペーパーでは、ODI の移動とズームのためにメビウス変換をネットワークに組み込む、OmniZoomer と呼ばれる新しい深層学習ベースのアプローチを提案します。さまざまな条件下でさまざまな変換された特徴マップを学習することにより、ネットワークは増大するエッジ曲率を処理できるように強化され、ぼやけ効果が軽減されます。さらに、エイリアシングの問題に対処するために、2 つの重要なコンポーネントを提案します。まず、曲線を記述するためのピクセルの不足を補うために、高解像度 (HR) 空間の特徴マップを強化し、空間インデックス生成モジュールを使用して変換されたインデックス マップを計算します。次に、ODI が本質的に球面空間で表現されることを考慮して、インデックス マップと HR 特徴マップを組み合わせて球面相関を改善するために特徴マップを変換する球面リサンプリング モジュールを提案します。変換された特徴マップはデコードされて、ズームされた ODI を出力します。実験では、私たちの方法が、関心のあるオブジェクトを移動したりズームインしたりする柔軟性を備えた HR および高品質の ODI を生成できることを示しています。プロジェクト ページは http://vlislab22.github.io/OmniZoomer/ から入手できます。
Omnidirectional images (ODIs) have become increasingly popular, as their large field-of-view (FoV) can offer viewers the chance to freely choose the view directions in immersive environments such as virtual reality. The Möbius transformation is typically employed to further provide the opportunity for movement and zoom on ODIs, but applying it to the image level often results in blurry effect and aliasing problem. In this paper, we propose a novel deep learning-based approach, called OmniZoomer, to incorporate the Möbius transformation into the network for movement and zoom on ODIs. By learning various transformed feature maps under different conditions, the network is enhanced to handle the increasing edge curvatures, which alleviates the blurry effect. Moreover, to address the aliasing problem, we propose two key components. Firstly, to compensate for the lack of pixels for describing curves, we enhance the feature maps in the high-resolution (HR) space and calculate the transformed index map with a spatial index generation module. Secondly, considering that ODIs are inherently represented in the spherical space, we propose a spherical resampling module that combines the index map and HR feature maps to transform the feature maps for better spherical correlation. The transformed feature maps are decoded to output a zoomed ODI. Experiments show that our method can produce HR and high-quality ODIs with the flexibility to move and zoom in to the object of interest. Project page is available at http://vlislab22.github.io/OmniZoomer/.
updated: Sat Aug 19 2023 02:12:43 GMT+0000 (UTC)
published: Wed Aug 16 2023 02:58:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト