農業部門の自動化とロボット化は、この業界が直面する社会経済的課題に対する実行可能な解決策と見なされています。このテクノロジーは、多くの場合、作物、植物、および環境全体に関する情報を提供するインテリジェントな知覚システムに依存しています。従来の2Dビジョンシステムが直面する課題は、オブジェクトの簡単なローカリゼーション、サイズと形状の推定、またはオクルージョンの処理を可能にする最新の3Dビジョンシステムによって対処できます。これまでのところ、3Dセンシングの使用は、主に屋内または構造化された環境に限定されていました。この論文では、農業における形状の3D知覚のためのステレオカメラや飛行時間型カメラなどの最新のセンシング技術を評価し、形状に基づいて背景から柔らかい果物をセグメント化するためのそれらの有用性を研究します。そのために、カメラベースの3Dセンサーから発信される情報の組織化された性質を活用する新しい3Dディープニューラルネットワークを提案します。最先端の3Dネットワークと比較して、提案されたアーキテクチャの優れたパフォーマンスと効率を示します。シミュレートされた研究を通じて、農業におけるオブジェクトセグメンテーションの3Dセンシングパラダイムの可能性を示し、作物のさらなる分析に必要であり、期待される形状品質の洞察と分析を提供します。この作業の結果は、研究者や企業がより正確で堅牢な3Dセンシング技術を開発して、実用的な農業アプリケーションでの幅広い採用を保証することを奨励するはずです。
Automation and robotisation of the agricultural sector are seen as a viable solution to socio-economic challenges faced by this industry. This technology often relies on intelligent perception systems providing information about crops, plants and the entire environment. The challenges faced by traditional 2D vision systems can be addressed by modern 3D vision systems which enable straightforward localisation of objects, size and shape estimation, or handling of occlusions. So far, the use of 3D sensing was mainly limited to indoor or structured environments. In this paper, we evaluate modern sensing technologies including stereo and time-of-flight cameras for 3D perception of shape in agriculture and study their usability for segmenting out soft fruit from background based on their shape. To that end, we propose a novel 3D deep neural network which exploits the organised nature of information originating from the camera-based 3D sensors. We demonstrate the superior performance and efficiency of the proposed architecture compared to the state-of-the-art 3D networks. Through a simulated study, we also show the potential of the 3D sensing paradigm for object segmentation in agriculture and provide insights and analysis of what shape quality is needed and expected for further analysis of crops. The results of this work should encourage researchers and companies to develop more accurate and robust 3D sensing technologies to assure their wider adoption in practical agricultural applications.