このホワイトペーパーでは、時間的にラベル付けされたデータを使用せずに、農業用ロボット工学のコンテキストで時間的セマンティックセグメンテーションを実行する可能性を探ります。これは、ラベル付けされた静止画像から仮想時間サンプルを生成することを提案することで実現します。比較的静的なシーンを利用し、ロボット(カメラ)が動くと仮定することで、追加の注釈作業なしで、仮想的にラベル付けされた時間シーケンスを生成できます。通常、リカレントニューラルネットワーク(RNN)をトレーニングするには、ビデオ(時間)シーケンスからのラベル付きサンプルが必要です。これは面倒で、この方向での作業を妨げています。仮想時間サンプルを生成することにより、2つの挑戦的な農業データセットでセマンティックセグメンテーションを実行するために軽量RNNをトレーニングすることが可能であることを示します。私たちの結果は、仮想サンプルを使用して時間的セマンティックセグメンターをトレーニングすることにより、ピーマンとテンサイのデータセットでそれぞれ絶対量4.6と4.9のパフォーマンスを向上できることを示しています。これは、私たちの仮想データ拡張技術が、複雑な合成データ生成技術を使用せずに、または大量の時間シーケンスにラベルを付けるオーバーヘッドなしに、農業画像を時間的に正確に分類できることを示しています。
This paper explores the potential for performing temporal semantic segmentation in the context of agricultural robotics without temporally labelled data. We achieve this by proposing to generate virtual temporal samples from labelled still images. By exploiting the relatively static scene and assuming that the robot (camera) moves we are able to generate virtually labelled temporal sequences with no extra annotation effort. Normally, to train a recurrent neural network (RNN), labelled samples from a video (temporal) sequence are required which is laborious and has stymied work in this direction. By generating virtual temporal samples, we demonstrate that it is possible to train a lightweight RNN to perform semantic segmentation on two challenging agricultural datasets. Our results show that by training a temporal semantic segmenter using virtual samples we can increase the performance by an absolute amount of 4.6 and 4.9 on sweet pepper and sugar beet datasets, respectively. This indicates that our virtual data augmentation technique is able to accurately classify agricultural images temporally without the use of complicated synthetic data generation techniques nor with the overhead of labelling large amounts of temporal sequences.