arXiv reaDer
クロススケール歪み認識による屋内パノラマルームレイアウト推定のための直交平面の絡み合いの解消
Disentangling Orthogonal Planes for Indoor Panoramic Room Layout Estimation with Cross-Scale Distortion Awareness
マンハッタン ワールドの仮定に基づいて、ほとんどの既存の屋内レイアウト推定スキームは、垂直方向に圧縮された 1D シーケンスからレイアウトを復元することに重点を置いています。ただし、圧縮手順は異なるプレーンのセマンティクスを混同し、あいまいな解釈でパフォーマンスが低下します。この問題に対処するために、複雑なシーンから直交する (垂直および水平) 平面を事前にセグメント化することで、この 1D 表現を解きほぐし、屋内レイアウト推定のための幾何学的手がかりを明示的に取得することを提案します。床の境界と天井の境界の間の対称性を考慮して、事前セグメンテーションを支援するソフトフリッピング融合戦略も設計します。さらに、浅いフィーチャと深いフィーチャを歪み分布認識と効果的に統合するためのフィーチャ アセンブリ メカニズムを提示します。事前セグメンテーションの潜在的なエラーを補うために、トリプルアテンションをさらに活用して、絡み合っていないシーケンスを再構築し、パフォーマンスを向上させます。 4 つの一般的なベンチマークでの実験は、特に 3DIOU メトリックにおいて、既存の SoTA ソリューションに対する当社の優位性を示しています。コードは https://github.com/zhijieshen-bjtu/DOPNet で入手できます。
Based on the Manhattan World assumption, most existing indoor layout estimation schemes focus on recovering layouts from vertically compressed 1D sequences. However, the compression procedure confuses the semantics of different planes, yielding inferior performance with ambiguous interpretability. To address this issue, we propose to disentangle this 1D representation by pre-segmenting orthogonal (vertical and horizontal) planes from a complex scene, explicitly capturing the geometric cues for indoor layout estimation. Considering the symmetry between the floor boundary and ceiling boundary, we also design a soft-flipping fusion strategy to assist the pre-segmentation. Besides, we present a feature assembling mechanism to effectively integrate shallow and deep features with distortion distribution awareness. To compensate for the potential errors in pre-segmentation, we further leverage triple attention to reconstruct the disentangled sequences for better performance. Experiments on four popular benchmarks demonstrate our superiority over existing SoTA solutions, especially on the 3DIoU metric. The code is available at https://github.com/zhijieshen-bjtu/DOPNet.
updated: Thu Mar 02 2023 05:10:23 GMT+0000 (UTC)
published: Thu Mar 02 2023 05:10:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト