パノラマは環境の完全な視野を持ち、シーンの比較的完全な説明を提供するため、球形のパノラマから深度を学習することは人気のある研究トピックになりつつあります。ただし、遠近法画像用に十分に研究されたCNNを球面パノラマの標準表現、つまり正距円筒図法に適用することは、極に向かって歪むため、最適ではありません。もう1つの表現は、キューブマッププロジェクションです。これは歪みがありませんが、エッジで廃止され、視野が制限されています。この論文では、2つの投影からの特徴を融合するための新しいフレームワークを紹介し、デコード段階でのみキューブマップ特徴を正距円筒図法に一方向に供給します。符号化段階と復号化段階の両方で動作する最近の双方向融合アプローチとは異なり、私たちの融合スキームははるかに効率的です。さらに、フュージョンスキーム用のより効果的なフュージョンモジュールも設計しました。実験により、提案された融合戦略とモジュールの有効性が検証され、モデルは4つの人気のあるデータセットで最先端のパフォーマンスを実現します。追加の実験では、モデルにはモデルの複雑さと一般化機能の利点もあることが示されています。コードはhttps://github.com/alibaba/UniFuse-Unidirection-Fusionで入手できます。
Learning depth from spherical panoramas is becoming a popular research topic because a panorama has a full field-of-view of the environment and provides a relatively complete description of a scene. However, applying well-studied CNNs for perspective images to the standard representation of spherical panoramas, i.e., the equirectangular projection, is suboptimal, as it becomes distorted towards the poles. Another representation is the cubemap projection, which is distortion-free but discontinued on edges and limited in the field-of-view. This paper introduces a new framework to fuse features from the two projections, unidirectionally feeding the cubemap features to the equirectangular features only at the decoding stage. Unlike the recent bidirectional fusion approach operating at both the encoding and decoding stages, our fusion scheme is much more efficient. Besides, we also designed a more effective fusion module for our fusion scheme. Experiments verify the effectiveness of our proposed fusion strategy and module, and our model achieves state-of-the-art performance on four popular datasets. Additional experiments show that our model also has the advantages of model complexity and generalization capability.The code is available at https://github.com/alibaba/UniFuse-Unidirectional-Fusion.