arXiv reaDer
Deep Mangoes: from fruit detection to cultivar identification in colour images of mango trees
  この論文は、木のカラー画像からのマンゴー果実の検出と識別に関する結果を示しています。 Faster R-CNNネットワークの動作とパフォーマンスを評価して、植物品種、プランテーションスキーム、および視覚情報取得コンテキストに関して、特に不均一な条件下で果物を「検出および分類」するのに十分な堅牢性があるかどうかを判断します。このネットワークは、「Kent」、「Keitt」、および「Boucodiekhal」のマンゴー栽培品種と、3,000個の代表的なラベル付きフルーツ注釈を区別するようにトレーニングされています。次に、約7,000の注釈で構成される検証セットを、0.7の信頼しきい値と0.25の非最大抑制しきい値でテストしました。 F1スコアが0.90のFaster R-CNNは、500x500ピクセルのタイルでの単純な果物の検出に適しています。次に、マルチタイルアプローチとJaccardマトリックスを組み合わせて、複数回検出されたオブジェクトのさまざまな部分をマージし、タイルスケールで行われた検出をネイティブの6,000x4,000ピクセルサイズの画像に報告します。それにもかかわらず、0.51のF1スコアでは、品種識別Faster R-CNNネットワークには、マンゴー果実の検出とそれぞれの栽培品種の識別に同時にいくつかの制限があります。果物の検出における実証済みのエラーにもかかわらず、検出されたマンゴー果物の品種識別率は80%のオーダーです。理想的なソリューションは、画像のツリーの事前セグメンテーション用のMask R-CNNと、マンゴーの果実を検出し、それぞれの栽培品種を特定するためのダブルストリームFaster R-CNNを組み合わせて、ユーザーの期待により関連する予測を提供できます。
This paper presents results on the detection and identification mango fruits from colour images of trees. We evaluate the behaviour and the performances of the Faster R-CNN network to determine whether it is robust enough to "detect and classify" fruits under particularly heterogeneous conditions in terms of plant cultivars, plantation scheme, and visual information acquisition contexts. The network is trained to distinguish the 'Kent', 'Keitt', and "Boucodiekhal" mango cultivars from 3,000 representative labelled fruit annotations. The validation set composed of about 7,000 annotations was then tested with a confidence threshold of 0.7 and a Non-Maximal-Suppression threshold of 0.25. With a F1-score of 0.90, the Faster R-CNN is well suitable to the simple fruit detection in tiles of 500x500 pixels. We then combine a multi-tiling approach with a Jaccard matrix to merge the different parts of objects detected several times, and thus report the detections made at the tile scale to the native 6,000x4,000 pixel size images. Nonetheless with a F1-score of 0.56, the cultivar identification Faster R-CNN network presents some limitations for simultaneously detecting the mango fruits and identifying their respective cultivars. Despite the proven errors in fruit detection, the cultivar identification rates of the detected mango fruits are in the order of 80%. The ideal solution could combine a Mask R-CNN for the image pre-segmentation of trees and a double-stream Faster R-CNN for detecting the mango fruits and identifying their respective cultivar to provide predictions more relevant to users' expectations.
updated: Tue Sep 24 2019 14:05:54 GMT+0000 (UTC)
published: Tue Sep 24 2019 14:05:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト