バーチャル ツアーまたはデジタル ツアーは、ユーザーが特定の場所をリモートで体験できるバーチャル リアリティ テクノロジの一種です。現在、これらのバーチャル ツアーは 2 段階の戦略に従って作成されています。まず、写真家が 360 度の正距円筒図法画像をクリックします。次に、アノテーターのチームがこれらの画像を手動でリンクして、「ウォークスルー」ユーザー エクスペリエンスを提供します。バーチャル ツアーの大量採用における主な課題は、手動の注釈付け/画像のリンクにかかる時間とコストです。したがって、このホワイト ペーパーでは、不動産プロパティの正距円筒図法の画像を使用して 3D バーチャル ツアーの生成を自動化するためのエンド ツー エンドのパイプラインを紹介します。 360 度カメラを使用して正距円筒図法画像をクリックする前に、さまざまな場所に配置する必要がある紙タグの新しい HSV ベースの配色スキームを提案します。これらのタグには 2 つの特徴があります。i) カメラマンが順番にタグを配置できるように番号が付けられています。 ii) 二色。これにより、画像および数字認識 (カスタム MobileNet アーキテクチャを使用) タスクでタグ検出 (YOLOv5 アーキテクチャを使用) をより適切に学習できます。最後に、検出されたタグに基づいてすべての正距円筒図法画像をリンク/接続します。提案されたパイプラインの効率を、Housing.com データベースから収集された実世界の正距円筒図法画像データセットで示します。
A virtual or digital tour is a form of virtual reality technology which allows a user to experience a specific location remotely. Currently, these virtual tours are created by following a 2-step strategy. First, a photographer clicks a 360 degree equirectangular image; then, a team of annotators manually links these images for the "walkthrough" user experience. The major challenge in the mass adoption of virtual tours is the time and cost involved in manual annotation/linking of images. Therefore, this paper presents an end-to-end pipeline to automate the generation of 3D virtual tours using equirectangular images for real-estate properties. We propose a novel HSV-based coloring scheme for paper tags that need to be placed at different locations before clicking the equirectangular images using 360 degree cameras. These tags have two characteristics: i) they are numbered to help the photographer for placement of tags in sequence and; ii) bi-colored, which allows better learning of tag detection (using YOLOv5 architecture) in an image and digit recognition (using custom MobileNet architecture) tasks. Finally, we link/connect all the equirectangular images based on detected tags. We show the efficiency of the proposed pipeline on a real-world equirectangular image dataset collected from the Housing.com database.