畳み込みニューラルネットワーク(CNN)に基づく既存のパノラマ深度推定方法は、パノラマ歪みの除去に重点を置いており、CNNの受容野が固定されているため、パノラマ構造を効率的に認識できません。この論文では、球形ドメインからの接線パッチ、学習可能なトークンフロー、およびパノラマ固有のメトリックを使用して、パノラマ画像の深度を推定するためのパノラマトランスフォーマー(PanoFormerという名前)を提案します。特に、球面タンジェントドメインのパッチをトークンに分割して、パノラマ歪みの悪影響を軽減します。幾何学的構造は深度推定に不可欠であるため、自己注意モジュールは、追加の学習可能なトークンフローを使用して再設計されています。さらに、球面領域の特性を考慮して、パノラマ深度推定モデルのパフォーマンスを包括的に評価するために、2つのパノラマ固有のメトリックを提示します。広範な実験は、私たちのアプローチが最先端の(SOTA)方法を大幅に上回っていることを示しています。さらに、提案された方法は、同様のpixel2pixelタスクであるセマンティックパノラマセグメンテーションを解決するために効果的に拡張することができます。コードが利用可能になります。
Existing panoramic depth estimation methods based on convolutional neural networks (CNNs) focus on removing panoramic distortions, failing to perceive panoramic structures efficiently due to the fixed receptive field in CNNs. This paper proposes the panorama transformer (named PanoFormer) to estimate the depth in panorama images, with tangent patches from spherical domain, learnable token flows, and panorama specific metrics. In particular, we divide patches on the spherical tangent domain into tokens to reduce the negative effect of panoramic distortions. Since the geometric structures are essential for depth estimation, a self-attention module is redesigned with an additional learnable token flow. In addition, considering the characteristic of the spherical domain, we present two panorama-specific metrics to comprehensively evaluate the panoramic depth estimation models' performance. Extensive experiments demonstrate that our approach significantly outperforms the state-of-the-art (SOTA) methods. Furthermore, the proposed method can be effectively extended to solve semantic panorama segmentation, a similar pixel2pixel task. Code will be available.