セマンティック情報によってファサード モデルの 3D 機能を強化するためのファサード周辺の分析と解析の研究は、コミュニティで注目を集めました。コミュニティの主なアイデアは、再構成の精度を犠牲にして全体的な解像度を上げるために、同様の形状とテクスチャを持つ高解像度のコンポーネントを生成することです。 .このアプローチは、窓やドアなどのコンポーネントにはうまく機能しますが、現時点ではファサードの背景に対する解決策はありません。この論文では、ファサード領域の周りに代表的なテクスチャをタイリングすることによって上記のモデリングアプローチで使用できる代表的な領域テクスチャの概念を紹介し、ファサード画像から代表的な領域のテクスチャ抽出を行うための半教師ありの方法を提案します。従来のエンド ツー エンド モデルでは、パフォーマンスを向上させるために大量のデータが必要ですが、セマンティック情報が与えられている限り、この方法では追加のラベル付きデータをトレーニングする必要はありません。私たちの方法は、トレーニングセットの分布に依存しているため、エンドツーエンドモデルでは機能しないファサードだけでなく、繰り返しの画像からテクスチャを抽出できます。加重距離によるクラスタリングが導入され、ノイズや不正確なセグメンテーションに対するロバスト性がさらに向上し、抽出されたテクスチャの解像度が高くなり、タイリングにより適したものになります。さまざまなファサード画像でこの方法を検証した結果、ファサードのランダムなトリミングのみと比較して、この方法のパフォーマンスが大幅に向上することが示されました。また、いくつかのアプリケーション シナリオを示し、代表的な領域テクスチャを使用したファサード モデリング ワークフローを提案しました。
Researches of analysis and parsing around facades to enrich the 3D feature of facade models by semantic information raised some attention in the community, whose main idea is to generate higher resolution components with similar shapes and textures to increase the overall resolution at the expense of reconstruction accuracy. While this approach works well for components like windows and doors, there is no solution for facade background at present. In this paper, we introduce the concept of representative region texture, which can be used in the above modeling approach by tiling the representative texture around the facade region, and propose a semi-supervised way to do representative region texture extraction from a facade image. Our method does not require any additional labelled data to train as long as the semantic information is given, while a traditional end-to-end model requires plenty of data to increase its performance. Our method can extract texture from any repetitive images, not just facade, which is not capable in an end-to-end model as it relies on the distribution of training set. Clustering with weighted distance is introduced to further increase the robustness to noise or an imprecise segmentation, and make the extracted texture have a higher resolution and more suitable for tiling. We verify our method on various facade images, and the result shows our method has a significant performance improvement compared to only a random crop on facade. We also demonstrate some application scenarios and proposed a facade modeling workflow with the representative region texture, which has a better visual resolution for a regular facade.