360° 全方向画像は、その没入型でインタラクティブな体験により、特に AR/VR アプリケーションで研究の注目を集めています。ただし、平面画像をキャプチャするための同じセンサーサイズの魚眼レンズでキャプチャされるため、角度解像度が低くなります。上記の問題を解決するために、360°全方向画像超解像の 2 段階のフレームワークを提案します。第 1 段階では、全方向位置認識変形可能ブロック (OPDB) とフーリエ アップサンプリングを組み込んだモデル A と、モデル A に空間周波数融合モジュール (SFF) を追加したモデル B の 2 つのブランチを使用します。モデル A は、機能の強化を目的としています。 360°画像の位置情報の抽出能力を高め、モデルBはさらに360°画像の高周波情報に着目。第 2 段階では、モデル A の構造に基づいて、ピクセル アンシャッフル操作を使用して同じ解像度の強調を実行します。また、変圧器のフィッティング能力を向上させるために YouTube からデータを収集し、劣化ネットワークを使用して疑似低解像度画像を作成しました。提案された方法は優れたパフォーマンスを達成し、360° 全方向画像超解像の NTIRE 2023 チャレンジに勝ちます。
360° omnidirectional images have gained research attention due to their immersive and interactive experience, particularly in AR/VR applications. However, they suffer from lower angular resolution due to being captured by fisheye lenses with the same sensor size for capturing planar images. To solve the above issues, we propose a two-stage framework for 360° omnidirectional image superresolution. The first stage employs two branches: model A, which incorporates omnidirectional position-aware deformable blocks (OPDB) and Fourier upsampling, and model B, which adds a spatial frequency fusion module (SFF) to model A. Model A aims to enhance the feature extraction ability of 360° image positional information, while Model B further focuses on the high-frequency information of 360° images. The second stage performs same-resolution enhancement based on the structure of model A with a pixel unshuffle operation. In addition, we collected data from YouTube to improve the fitting ability of the transformer, and created pseudo low-resolution images using a degradation network. Our proposed method achieves superior performance and wins the NTIRE 2023 challenge of 360° omnidirectional image super-resolution.