arXiv reaDer
CVSformer: セマンティック シーン補完のためのクロスビュー合成トランスフォーマー
CVSformer: Cross-View Synthesis Transformer for Semantic Scene Completion
セマンティック シーン コンプリーション (SSC) では、遮蔽されたオブジェクトを推論するために、3D シーン内のオブジェクト間の幾何学的および意味的な関係を正確に理解する必要があります。一般的な SSC 手法は 3D オブジェクトをボクセル化し、ディープ 3D 畳み込みネットワーク (3D CNN) が複雑なシーンからオブジェクトの関係を学習できるようにします。しかし、現在のネットワークには、複数のビューにわたるオブジェクトの関係をモデル化するための制御可能なカーネルが不足しており、適切なビューが、遮られたオブジェクトの存在を示唆するための関連情報を提供します。本稿では、クロスビューオブジェクトの関係を学習するためのマルチビュー特徴合成とクロスビュートランスフォーマーから構成されるクロスビュー合成トランスフォーマー(CVSformer)を提案します。マルチビュー特徴合成では、異なる回転をした一連の 3D 畳み込みカーネルを使用して、各ボクセルのマルチビュー特徴を計算します。クロスビュー変換では、クロスビューフュージョンを採用して、クロスビューの関係を包括的に学習し、個々のビューの機能を強化するための有用な情報を形成します。強化された機能を使用して、すべてのボクセルの幾何学的占有と意味ラベルを予測します。私たちは公開データセットで CVSformer を評価し、CVSformer は最先端の結果をもたらします。
Semantic scene completion (SSC) requires an accurate understanding of the geometric and semantic relationships between the objects in the 3D scene for reasoning the occluded objects. The popular SSC methods voxelize the 3D objects, allowing the deep 3D convolutional network (3D CNN) to learn the object relationships from the complex scenes. However, the current networks lack the controllable kernels to model the object relationship across multiple views, where appropriate views provide the relevant information for suggesting the existence of the occluded objects. In this paper, we propose Cross-View Synthesis Transformer (CVSformer), which consists of Multi-View Feature Synthesis and Cross-View Transformer for learning cross-view object relationships. In the multi-view feature synthesis, we use a set of 3D convolutional kernels rotated differently to compute the multi-view features for each voxel. In the cross-view transformer, we employ the cross-view fusion to comprehensively learn the cross-view relationships, which form useful information for enhancing the features of individual views. We use the enhanced features to predict the geometric occupancies and semantic labels of all voxels. We evaluate CVSformer on public datasets, where CVSformer yields state-of-the-art results.
updated: Sun Jul 16 2023 04:08:03 GMT+0000 (UTC)
published: Sun Jul 16 2023 04:08:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト