arXiv reaDer
変更検出には変更情報が必要: ディープ 3D 点群変更検出の改善
Change detection needs change information: improving deep 3D point cloud change detection
変化の検出は、変更された領域を迅速に特定するための重要なタスクであり、特に複数の時間データが関係している場合に重要です。都市環境のような複雑な形状を持つランドスケープでは、垂直方向の情報は、変化を強調するだけでなく、それらをさまざまなカテゴリに分類するのにも非常に役立つ知識であることが判明しました。このホワイト ペーパーでは、ラスター化プロセスによる情報の損失を回避するために、生の 3D ポイント クラウド (PC) を直接使用した変更セグメンテーションに焦点を当てています。深層学習は、シャム ネットワークを介して情報をエンコードすることにより、この特定のタスクに対する有効性を最近証明しましたが、ここでは、深層ネットワークの初期段階で変更情報も使用するというアイデアを調査します。これを行うために、最初に Siamese KPConv State-of-The-Art (SoTA) ネットワークに手作りの機能、特に変更関連の機能を提供することを提案します。これにより、変化のクラス全体で Intersection over Union (IoU) の平均が 4.70% 向上します。変更関連機能のおかげで大幅な改善が得られたことを考慮して、3D PC の変更セグメンテーションに対処するために、OneConvFusion、Triplet KPConv、および Encoder Fusion SiamKPConv という 3 つの新しいアーキテクチャを提案します。 3 つのネットワークはすべて、初期段階で変更情報を考慮しており、SoTA メソッドよりも優れています。特に、Encoder Fusion SiamKPConv というタイトルの最後のネットワークは、変更検出タスクの変更情報にネットワークを集中させることの価値を強調して、変更のクラスにわたって IoU の平均の 5% 以上で SoTA を追い抜きます。
Change detection is an important task to rapidly identify modified areas, in particular when multi-temporal data are concerned. In landscapes with complex geometry such as urban environment, vertical information turn out to be a very useful knowledge not only to highlight changes but also to classify them into different categories. In this paper, we focus on change segmentation directly using raw 3D point clouds (PCs), to avoid any loss of information due to rasterization processes. While deep learning has recently proved its effectiveness for this particular task by encoding the information through Siamese networks, we investigate here the idea of also using change information in early steps of deep networks. To do this, we first propose to provide the Siamese KPConv State-of-The-Art (SoTA) network with hand-crafted features and especially a change-related one. This improves the mean of Intersection over Union (IoU) over classes of change by 4.70%. Considering that the major improvement was obtained thanks to the change-related feature, we propose three new architectures to address 3D PCs change segmentation: OneConvFusion, Triplet KPConv, and Encoder Fusion SiamKPConv. All the three networks take into account change information in early steps and outperform SoTA methods. In particular, the last network, entitled Encoder Fusion SiamKPConv, overtakes SoTA with more than 5% of mean of IoU over classes of change emphasizing the value of having the network focus on change information for change detection task.
updated: Tue Apr 25 2023 08:10:48 GMT+0000 (UTC)
published: Tue Apr 25 2023 08:10:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト