arXiv reaDer
3Dポイントベースの深層学習法によるバラブッシュ植物の構造部分のセグメンテーション
Segmentation of structural parts of rosebush plants with 3D point-based deep learning methods
植物の3Dモデルの構造部分のセグメンテーションは、植物の表現型を特定するための重要なステップであり、特に建築的および形態学的特性を監視するために重要です。現在の最先端のアプローチは、植物構造の幾何学的変化をモデル化するために、手作りの3Dローカル機能に依存しています。点群に関する深層学習の最近の進歩は、関連するローカルおよびグローバルな特性を抽出する可能性がありますが、ラベル付けされた3D植物データの不足は、この可能性の調査を妨げています。ローズブッシュモデルの構造部分のセグメンテーションに、最近の6つのポイントベースの深層学習アーキテクチャ(PointNet、PointNet ++、DGCNN、PointCNN、ShellNet、RIConv)を採用しました。これらのアーキテクチャの変更と事前トレーニングのために適切な量のラベル付きデータを提供するために、3D合成ローズブッシュモデルを生成しました。実際のローズブッシュ植物でのパフォーマンスを評価するために、完全に注釈が付けられた点群モデルのROSE-Xデータセットを使用しました。実際の植物のラベル付きデータが限られている場合でも、ポイントベースの深層学習手法の可能性を実証するために、合成データを組み込んだ場合と組み込んでいない場合の実験を提供しました。実験結果は、PointNet ++が6つのポイントベースの深層学習方法の中で最高のセグメンテーション精度を生成することを示しています。 PointNet ++の利点は、ポイントクラウドデータの階層構造の規模に柔軟性を提供することです。合成3Dモデルを使用した事前トレーニングにより、PointNetを除くすべてのアーキテクチャのパフォーマンスが向上しました。
Segmentation of structural parts of 3D models of plants is an important step for plant phenotyping, especially for monitoring architectural and morphological traits. Current state-of-the art approaches rely on hand-crafted 3D local features for modeling geometric variations in plant structures. While recent advancements in deep learning on point clouds have the potential of extracting relevant local and global characteristics, the scarcity of labeled 3D plant data impedes the exploration of this potential. We adapted six recent point-based deep learning architectures (PointNet, PointNet++, DGCNN, PointCNN, ShellNet, RIConv) for segmentation of structural parts of rosebush models. We generated 3D synthetic rosebush models to provide adequate amount of labeled data for modification and pre-training of these architectures. To evaluate their performance on real rosebush plants, we used the ROSE-X data set of fully annotated point cloud models. We provided experiments with and without the incorporation of synthetic data to demonstrate the potential of point-based deep learning techniques even with limited labeled data of real plants. The experimental results show that PointNet++ produces the highest segmentation accuracy among the six point-based deep learning methods. The advantage of PointNet++ is that it provides a flexibility in the scales of the hierarchical organization of the point cloud data. Pre-training with synthetic 3D models boosted the performance of all architectures, except for PointNet.
updated: Wed Feb 23 2022 15:36:57 GMT+0000 (UTC)
published: Mon Dec 21 2020 17:01:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト