農業向けのロボットソリューションの開発には、あらゆる作物段階で確実に機能する高度な知覚機能が必要です。たとえば、温室でのトマトの収穫プロセスを自動化するには、視覚認識システムがライフサイクルのあらゆる段階(花から完熟トマト)でトマトを検出する必要があります。トマトの視覚的検出の最先端技術は、主に完熟トマトに焦点を当てています。完熟トマトは、背景とは異なる色をしています。この論文は、緑と赤みがかったトマトの注釈付き視覚データセットに貢献しています。この種のデータセットは一般的ではなく、研究目的には利用できません。これにより、収穫ロボットの開発に必要な、現場でのエッジ人工知能とリアルタイムの視覚的トマト検出のさらなる開発が可能になります。このデータセットを考慮して、温室で栽培された緑と赤みがかったトマトを検出するために、5つの深層学習モデルが選択され、トレーニングされ、ベンチマークされました。ロボットプラットフォームの仕様を考慮して、シングルショットマルチボックス検出器(SSD)とYOLOアーキテクチャのみが考慮されました。その結果、葉で塞がれたトマトでも、緑と赤みがかったトマトを検出できることが証明されました。 SSD MobileNet v2は、SSD Inception v2、SSD ResNet 50、SSD ResNet 101、YOLOv4 Tinyと比較して最高のパフォーマンスを発揮し、NVIDIA TuringでF1スコア66.15%、mAP 51.46%、推論時間16.44msに達しました。アーキテクチャプラットフォーム、NVIDIA Tesla T4、12GB。 YOLOv4 Tinyも、主に約5ミリ秒の推定時間に関して印象的な結果を出しました。
The development of robotic solutions for agriculture requires advanced perception capabilities that can work reliably in any crop stage. For example, to automatise the tomato harvesting process in greenhouses, the visual perception system needs to detect the tomato in any life cycle stage (flower to the ripe tomato). The state-of-the-art for visual tomato detection focuses mainly on ripe tomato, which has a distinctive colour from the background. This paper contributes with an annotated visual dataset of green and reddish tomatoes. This kind of dataset is uncommon and not available for research purposes. This will enable further developments in edge artificial intelligence for in situ and in real-time visual tomato detection required for the development of harvesting robots. Considering this dataset, five deep learning models were selected, trained and benchmarked to detect green and reddish tomatoes grown in greenhouses. Considering our robotic platform specifications, only the Single-Shot MultiBox Detector (SSD) and YOLO architectures were considered. The results proved that the system can detect green and reddish tomatoes, even those occluded by leaves. SSD MobileNet v2 had the best performance when compared against SSD Inception v2, SSD ResNet 50, SSD ResNet 101 and YOLOv4 Tiny, reaching an F1-score of 66.15%, an mAP of 51.46% and an inference time of 16.44 ms with the NVIDIA Turing Architecture platform, an NVIDIA Tesla T4, with 12 GB. YOLOv4 Tiny also had impressive results, mainly concerning inferring times of about 5 ms.