高品質の 3 次元 (3D) データおよびマルチスペクトル データを使用して植物の表現型形質を非破壊的に評価することで、育種者の植物の成長に対する理解を深め、情報に基づいた管理上の意思決定を行うことができます。ただし、自然光条件下での主観的な視点の選択と複雑な照明効果により、データの品質が低下し、表現型パラメーターを解決することが困難になります。我々は、植物の高品質な 3D マルチスペクトル点群 (3DMPC) を生成するために、それぞれ適応型データ収集と反射率補正の手法を提案しました。第 1 段階では、マルチセンサーを備えたロボット アームを備えた新しい UGV プラットフォームに基づいた効率的なネクスト ベスト ビュー (NBV) プランニング手法を提案しました。第 2 段階では、神経参照フィールド (NeREF) を使用して参照のデジタル番号 (DN) を予測することにより、照明の影響を排除しました。私たちはそれらを 6 本のシソと 6 本のトマトの植物でテストし、バイオマスとクロロフィル含有量を評価するために各植物の目に見える 2 つの葉と 4 つの関心領域 (ROI) を選択しました。 NBV 計画の場合、ジョイント速度 1.55 rad/s での単一のエゴマとトマトの植物の平均実行時間は、それぞれ 58.70 秒と 53.60 秒でした。植物全体のデータの完全性は、固定視点のみを使用した場合と比較して平均 27% 向上し、葉のバイオマス推定の決定係数 (R2) は 0.99 および 0.92 に達しました。反射率補正については、異なる ROI で半球参照ベースの補正を行った反射率スペクトルの平均二乗平均平方根誤差は、シソとトマトでは 0.08 と 0.07 でした。主成分分析とガウス過程回帰を適用した場合、クロロフィル含有量推定の R2 はそれぞれ 0.91 と 0.93 でした。私たちのアプローチは、自然光条件下で植物の高品質の 3DMPC を生成するのに有望であり、正確な植物の表現型解析を容易にします。
Non-destructive assessments of plant phenotypic traits using high-quality three-dimensional (3D) and multispectral data can deepen breeders' understanding of plant growth and allow them to make informed managerial decisions. However, subjective viewpoint selection and complex illumination effects under natural light conditions decrease the data quality and increase the difficulty of resolving phenotypic parameters. We proposed methods for adaptive data acquisition and reflectance correction respectively, to generate high-quality 3D multispectral point clouds (3DMPCs) of plants. In the first stage, we proposed an efficient next-best-view (NBV) planning method based on a novel UGV platform with a multi-sensor-equipped robotic arm. In the second stage, we eliminated the illumination effects by using the neural reference field (NeREF) to predict the digital number (DN) of the reference. We tested them on 6 perilla and 6 tomato plants, and selected 2 visible leaves and 4 regions of interest (ROIs) for each plant to assess the biomass and the chlorophyll content. For NBV planning, the average execution time for single perilla and tomato plant at a joint speed of 1.55 rad/s was 58.70 s and 53.60 s respectively. The whole-plant data integrity was improved by an average of 27% compared to using fixed viewpoints alone, and the coefficients of determination (R2) for leaf biomass estimation reached 0.99 and 0.92. For reflectance correction, the average root mean squared error of the reflectance spectra with hemisphere reference-based correction at different ROIs was 0.08 and 0.07 for perilla and tomato. The R2 of chlorophyll content estimation was 0.91 and 0.93 respectively when principal component analysis and Gaussian process regression were applied. Our approach is promising for generating high-quality 3DMPCs of plants under natural light conditions and facilitates accurate plant phenotyping.